2025 - 中电信人工智能 - 述职报告
职位:大数据 / AI 高级工程师
述职人:大数据研发中心 黄一纯
2025年工作总结
1. DTExchange 多版本开发与功能落地
- 完成 2.3.10、2.3.11、2.3.12 三个版本的开发,新增对 Cassandra、RocketMQ、RabbitMQ、COS、OBS、OSS、Iceberg 等数据源的接入,当前接入主流数据源40+种。
- 重构 HBase 采集写入逻辑,增强 Doris 分区管理、HTTPS/HTTP 加解密、分页等功能,并新增HttpChain链式调用与认证操作。
- 完成 StepMode 架构对项目进行重构,改造自定义 SQL + RulerList 数据处理功能,明确数据源的获取、筛选、处理、过滤与写入操作,提升系统的扩展性和可维护性。
- 完成 Seatunnel/multiJar 任务全局轻量化,支持 run-application 模式,解决热点机器负载问题。
- 新增日志接入、Flyway版本控制、元数据适配、资源中心对接、任务复制、目录树挂载、License 校验、 数据库版本管理等功能开发。
- 优化全局敏感词加密加密架构,强化安全性。
- 累计修复200+个 bug,新增代码 50%+ 单元测试覆盖率。
2. SeaTunnel 框架升级与部署适配
- 完成 SeaTunnel 从2.3.7升级至2.3.11,并实现 Yarn Application 和 K8s 双部署模式,满足多样化部署需求。
- 实现轻量化和标品打包模式,优化镜像体积 40%。
- 支持 S3 aws Checkpoints,完成实时任务在 K8s 模式下的稳定运行。
- 增强 multiJson 解析,支持Kafka/HTTP/MQ 等数据源的文本处理。
- 增强核心功能,如 HTTPS 加解密、分页功能、HttpChain 链式调用、Doris 分区管理等,解决20+开源Bug。
- 累计向开源社区提交 3 个 PR,反馈并跟进 4 个 issue,推动开源技术迭代。
3. 重点项目定制与交付
- 针对JXW、遵义、中车、重庆等15+项目,完成了 30+ 个定制化功能开发,100% 满足核心业务需求,确保项目按时上线。
- 解决项目提出的100%问题,确保交付质量与客户满意度。
4. 区块链技术落地
- 完成 ChainMaker 区块链环境搭建与自动化部署,编写产品上链、合同管理等 4 个核心智能合约。实现合约自动初始化功能,区块链管理页面自动订阅与异构打包,实现5分钟区块链部署。
- 支撑数据可信治理场景的落地,完成Seatunnel简单任务调度功能,补充内部数据流转空缺。
5. 技术创新与专利申报
- 专利成果:编写并通过集团评审专利 4篇
- 数据回放的展示方法及装置、流处理系统
- 数据处理方法、装置及电子设备
- 调试方法及装置、非易失性存储介质、电子设备
- 事件订阅方法、装置、系统及非易失性存储介质
- PCT专利:1篇
- 基于边缘计算的任务流处理方法和装置
- 技术文章:2篇
- SeaTunnel深度改造实战:从性能瓶颈到企业级数据同步引擎
- SeaTunnel深度改造之Http数据源接入改造
- 培训输出:
- 数据交换开发二次开发培训-初级,输出PPT/代码/视频全套资料
- 获得荣誉:
- 大数据技术标准推进委员会 tc601 2025年度突出贡献专家
- 第二期青马学员
存在的不足与改进办法
- 不足:缺少关注前沿技术视角
改进办法:提前学习并布局可信空间、数据可信治理、区块链与数据要素结合等方向,增强技术选型与架构设计的前瞻性。 - 不足:主人翁意识与主导能力不足
改进办法:提升跨团队协作效率,主动主导技术方案设计,确保技术方案更好地服务业务目标。
2026年度工作计划
- 推动可信空间应用技术落地:从区块链技术应用,拓展至可信空间领域,探索更宽泛的数据可信治理场景与区块链交互模式,推动相关行业协作与生态建设。
- 专利申报目标:预计申报并通过3+篇专利,重点覆盖可信空间相关技术方向。