2024 - 中电信人工智能(ZhongDianXin AI)
职位:大数据 / AI 高级工程师
述职人:大数据研发中心 黄一纯
一、年度重点工作任务完成情况/成果与亮点
1.1 调度Worker 节点开发
- 开发实现Worker节点核心能力:接受执行指令、命令下发、任务监听、任务汇报和实例管控;
- 针对新调度依赖任务、小时级任务汇总依赖进行调整及缺陷修复,保障调度任务稳定运行。
1.2 项目部署支撑
- 支撑国能POC、安徽POC、7J、14J、XT、57J、WJ、ZY等项目的部署实施与问题解答,从零开始主导项目部署环节,为项目落地提供核心技术支撑;
- 支撑集团101/169生产和测试集群部署:完成Mysql数据库迁移、Ningx VIP HA方案部署、弱密码加固、全局密码加密、基线漏洞修复及紧急故障升级,最终实现集群完全交维;
- 全程主导XT项目部署与升级:
- 从3.4版本开始独立完成全部业务组件部署;
- 全程参与3.7、3.8、3.9版本升级,收集并优化大量部署问题,调整部署脚本;
- 支持数据交换二次开发,协助编写现场文档、解答客户疑问;
- 完成XT项目三次客户演练,对接现场团队与数智团队沟通协调。
1.3 Ansible部署脚本开发
- 优化部署效率:在PaaS和物理机环境就绪前提下,物理机部署时间缩短至1天;
- 规范化部署流程:补充完善整体部署手册、校验手册,编写常见错误FAQ,降低部署学习成本与试错成本;
- 多环境适配:提供多版本部署依赖包,适配ctyunos/ctyunos2/centos7/centos8操作系统,兼容x86与aarch64架构;
- 自动化能力提升:实现前端组件全流程自动化部署、后端SQL一键初始化,优化命令结构使其更合理;
- 高可用与安全强化:统一业务组件日志输出文件,支持业务组件HA部署、基础组件HA+VIP部署;
- 全链路加密:所有组件适配密码混淆/加密,配置文件杜绝明文密码,提供部署加密包与nacos加密上传工具。
1.4 Dtexchange标品开发
- 功能扩展:新增3个数据源/目标端、2个多模态算子,开发多模态算子参数动态展示接口;
- 数据源增强:支持文件写出类型的sink配置压缩格式,完成dtexchange和seatunnel对oracle-cdc数据源的适配支持;
- 自定义能力提升:开发Seatunnel采集组件动态参数功能,支持用户自定义系统未定义的Seatunnel参数;
- 架构优化:重构代码并完成方案设计,实现交换二次开发能力,提供SDK包与接口文档;
- UDF管理:提供客户自定义开发Seatunnel UDF的管理和使用接口;
- 缓存与集群优化:摒弃zookeeper依赖,所有缓存迁移至Redis;实现Redis/mysql集群隔离;
- 函数能力扩充:提供200+种seatunnel内置函数,包含平台默认加密、混淆函数供客户使用;
- 文档与工具优化:更新dtexchange3.9 FAQ文档和物理机部署工勘脚本,助力运维快速定位和规避问题;
- 容器化部署:支持docker容器化部署,解决多环境适配问题,提供arm/x86架构部署包;
- Http/Https数据源重构:实现分页、加密、解密、重试、测试按钮等核心功能。
1.5 其他成果
- 专利:2篇专利
- 《一种时间同步的多模态数据实时采集预处理框架》
- 《基于边缘计算的任务流处理方法装置》
- 赛事获奖:参加第三届“鼎信杯”大赛迁移适配工具赛道,荣获“金鼎产品奖”。
- 年终绩效:最高档A+。
二、存在的不足与改进办法
- 不足:数据交换产品化程度低,部分低频数据源工程问题在现场上线后才暴露,被动整改
改进办法:开展大量数据压测与全场景调测,提前发现并解决工程问题,提升产品可靠性。 - 不足:交换任务运行日志追踪监控不足,用户操作体验差,流程不清晰
改进办法:以人为本设计产品流程,增加日志监听手段,简化配置操作,实现产品化体验。
三、下一年度工作计划
- 提升产品化程度:审查现有数据交换产品模块,改造产品化不足的部分,融合AI提示功能优化用户体验;
- 强化测试验证:增加大数据量压力测试,提前发现并修复产品潜在问题;
- 完善监控体系:增加交换任务下发、运行阶段的日志监听手段,提升问题排查效率;
- 技术能力提升:重点学习大数据调度、采集、治理方向技术,强化核心技术储备;
- 专利申报目标:计划申报并通过2+篇专利。