大数据和大模型应用开发者

打造大数据处理和大模型结合应用

大家好!我是杨华磊,大数据开发人员,同时也有一定的前后端以及大模型开发的经验,希望能够创建有广泛应用场景,结合大模型且易于使用的数据应用,这是一件让人振奋且有意义的事情!🚀

About Me

热衷于创造有影响力的数据应用

八年数据开发经验,曾负责亚信CTC数据产品线的开发工作。能针对业务找准技术要点并积极解决 技术难点。善于找到需求中的通用技术点,并封装成工具。平时喜欢研究或预研⼀些技术上的问题,并 积极分享,善于根据业务要求设计技术架构,并开发框架,分拆任务模块。

Experience

职业经历

曾经参与的部分项目

中电金信

高级设计开发工程师

2020.3 - 至今

设计并搭建基于大模型实时数据平台;数据台指标开发;数据平台开发流程优化;数据同步工具的研发

SparkFlinkLangchainDockerVueSpringbootPythonJava
亚信科技CTC

数据技术经理

2016.11 - 2020.3

数据需求开发;数据平台搭建;新技术方案预研和落地开发

SparkScrapyPythonJavaVue
北京数字新思科技有限公司

大数据工程师

2016.2 - 2016.11

数据口径梳理,基于spark的实时数据开发,配合产品经理分析数据等

SparkHbasePythonMongoDB
Projects

项目展示

展示我的一些最佳项目和技术成就 (整理补充中ing)

Awemoe AI 对话平台

Awemoe AI 对话平台

利用streamlit快速验证ai对话功能的MVP辅助

langchainstreamlitgenminideepseekgroq
Sparksql流式作业脚手架

Sparksql流式作业脚手架

此工具解决了之前实时业务指标开发中,开发效率低,维护难度大的痛点.以sql的形式开发实时指标,并以json文件的形式来部署实时任务的实时作业脚手架工具

SparkstreamingHbaseJava
通用FlinkSQL数据开发平台

通用FlinkSQL数据开发平台

通过写flinksql一站式开发实时程序并能监控job的执行情况。产品以后台管理平台的形式开发,包括配置管理,新建任务,任务列表,日志管理,系统配置管理,告警配置,用户配置五个模块的功能.

vuespringboothadoop
AI图片生成

AI图片生成

一种根据提示使用模型生成图像的 AI 图像生成器。

ReactNext.jsTailwind CSSShadcn UI