2024 - 中电信人工智能（ZhongDianXin AI）

职位：大数据 / AI 高级工程师

述职人：大数据研发中心 黄一纯

一、年度重点工作任务完成情况/成果与亮点

1.1 调度Worker 节点开发

• 开发实现Worker节点核心能力：接受执行指令、命令下发、任务监听、任务汇报和实例管控；
• 针对新调度依赖任务、小时级任务汇总依赖进行调整及缺陷修复，保障调度任务稳定运行。

1.2 项目部署支撑

• 支撑国能POC、安徽POC、7J、14J、XT、57J、WJ、ZY等项目的部署实施与问题解答，从零开始主导项目部署环节，为项目落地提供核心技术支撑；
• 支撑集团101/169生产和测试集群部署：完成Mysql数据库迁移、Ningx VIP HA方案部署、弱密码加固、全局密码加密、基线漏洞修复及紧急故障升级，最终实现集群完全交维；
• 全程主导XT项目部署与升级：
  • 从3.4版本开始独立完成全部业务组件部署；
  • 全程参与3.7、3.8、3.9版本升级，收集并优化大量部署问题，调整部署脚本；
  • 支持数据交换二次开发，协助编写现场文档、解答客户疑问；
  • 完成XT项目三次客户演练，对接现场团队与数智团队沟通协调。

1.3 Ansible部署脚本开发

• 优化部署效率：在PaaS和物理机环境就绪前提下，物理机部署时间缩短至1天；
• 规范化部署流程：补充完善整体部署手册、校验手册，编写常见错误FAQ，降低部署学习成本与试错成本；
• 多环境适配：提供多版本部署依赖包，适配ctyunos/ctyunos2/centos7/centos8操作系统，兼容x86与aarch64架构；
• 自动化能力提升：实现前端组件全流程自动化部署、后端SQL一键初始化，优化命令结构使其更合理；
• 高可用与安全强化：统一业务组件日志输出文件，支持业务组件HA部署、基础组件HA+VIP部署；
• 全链路加密：所有组件适配密码混淆/加密，配置文件杜绝明文密码，提供部署加密包与nacos加密上传工具。

1.4 Dtexchange标品开发

• 功能扩展：新增3个数据源/目标端、2个多模态算子，开发多模态算子参数动态展示接口；
• 数据源增强：支持文件写出类型的sink配置压缩格式，完成dtexchange和seatunnel对oracle-cdc数据源的适配支持；
• 自定义能力提升：开发Seatunnel采集组件动态参数功能，支持用户自定义系统未定义的Seatunnel参数；
• 架构优化：重构代码并完成方案设计，实现交换二次开发能力，提供SDK包与接口文档；
• UDF管理：提供客户自定义开发Seatunnel UDF的管理和使用接口；
• 缓存与集群优化：摒弃zookeeper依赖，所有缓存迁移至Redis；实现Redis/mysql集群隔离；
• 函数能力扩充：提供200+种seatunnel内置函数，包含平台默认加密、混淆函数供客户使用；
• 文档与工具优化：更新dtexchange3.9 FAQ文档和物理机部署工勘脚本，助力运维快速定位和规避问题；
• 容器化部署：支持docker容器化部署，解决多环境适配问题，提供arm/x86架构部署包；
• Http/Https数据源重构：实现分页、加密、解密、重试、测试按钮等核心功能。

1.5 其他成果

• 专利:2篇专利
  • 《一种时间同步的多模态数据实时采集预处理框架》
  • 《基于边缘计算的任务流处理方法装置》
• 赛事获奖：参加第三届“鼎信杯”大赛迁移适配工具赛道，荣获“金鼎产品奖”。
• 年终绩效：最高档A+。

二、存在的不足与改进办法

• 不足：数据交换产品化程度低，部分低频数据源工程问题在现场上线后才暴露，被动整改
  改进办法：开展大量数据压测与全场景调测，提前发现并解决工程问题，提升产品可靠性。
• 不足：交换任务运行日志追踪监控不足，用户操作体验差，流程不清晰
  改进办法：以人为本设计产品流程，增加日志监听手段，简化配置操作，实现产品化体验。

三、下一年度工作计划

• 提升产品化程度：审查现有数据交换产品模块，改造产品化不足的部分，融合AI提示功能优化用户体验；
• 强化测试验证：增加大数据量压力测试，提前发现并修复产品潜在问题；
• 完善监控体系：增加交换任务下发、运行阶段的日志监听手段，提升问题排查效率；
• 技术能力提升：重点学习大数据调度、采集、治理方向技术，强化核心技术储备；
• 专利申报目标：计划申报并通过2+篇专利。

返回工作经历 · 返回首页