2022 - 德特塞维(电信31省前置机实时改造项目)
职位:大数据实时处理工程师 · 5G数据接入架构师
述职人:大数据中心 黄一纯
一、年度重点工作任务完成情况/成果与亮点
- 31省前置机实时改造:5G数据实时接入体系构建
- 方案设计与架构搭建:针对31省、多集群、百类原始数据的采集场景,独立完成端到端采集方案设计与落地,覆盖5G核心网、基站、信令等全维度5G数据;
- 多协议适配接入:完成SFTP/FTP/KAFKA/socket/http/https等6大类传输协议的适配开发,实现31省所有5G原始数据的全类型采集,采集覆盖率达100%;
- NiFi平台规模化落地:基于重量级实时采集平台NiFi构建采集体系,部署服务器200+台(配置为64Cpu/256G Mem/96T Disk),年处理原始数据量达30PB,涵盖协议解析、内容识别上报稽核、数据解压转换、数据预处理等全流程操作;
- NiFi版本迭代与自动化管理:主导NiFi从1.9.2版本到1.16.3最新版本的全版本升级,开发自动化升级脚本与监控体系,升级成功率达99.8%,零业务中断;
- 平台安全与监控强化:完成NiFi平台统一SSO鉴权改造,实现1000+账号的精细化权限管理分配;基于Prometheus搭建监控体系,覆盖50+类核心组件指标,告警响应时效控制在5分钟内。
- 实时任务平台搭建与5GC数据清洗
- 5GC数据实时清洗:针对国家安全数据合规需求,开发5GC信令、用户行为等数据的实时清洗规则300+条,数据清洗准确率达99.5%;
- 分布式任务管理架构:搭建“中心集群-省级节点”两级任务管理体系,中心集群统一下发清洗任务,各省节点自动拉取并实时更新,任务下发同步时效控制在15秒内;
- 数据汇总清洗架构落地:构建“省级采集-中心汇总-统一清洗”的三级数据处理链路,解决各省数据格式不统一问题,数据汇总处理时效从天级降至20分钟;
- 配套平台建设:开发实时任务监控、管理可视化平台,覆盖任务执行状态、数据吞吐量、异常告警等20+类核心维度,实现任务全生命周期可管可控。