2022 - 德特塞维（电信31省前置机实时改造项目）
职位：大数据实时处理工程师 · 5G数据接入架构师
述职人：大数据中心 黄一纯
一、年度重点工作任务完成情况/成果与亮点
- 31省前置机实时改造：5G数据实时接入体系构建
- 方案设计与架构搭建：针对31省、多集群、百类原始数据的采集场景，独立完成端到端采集方案设计与落地，覆盖5G核心网、基站、信令等全维度5G数据；
- 多协议适配接入：完成SFTP/FTP/KAFKA/socket/http/https等6大类传输协议的适配开发，实现31省所有5G原始数据的全类型采集，采集覆盖率达100%；
- NiFi平台规模化落地：基于重量级实时采集平台NiFi构建采集体系，部署服务器200+台（配置为64Cpu/256G Mem/96T Disk），年处理原始数据量达30PB，涵盖协议解析、内容识别上报稽核、数据解压转换、数据预处理等全流程操作；
- NiFi版本迭代与自动化管理：主导NiFi从1.9.2版本到1.16.3最新版本的全版本升级，开发自动化升级脚本与监控体系，升级成功率达99.8%，零业务中断；
- 平台安全与监控强化：完成NiFi平台统一SSO鉴权改造，实现1000+账号的精细化权限管理分配；基于Prometheus搭建监控体系，覆盖50+类核心组件指标，告警响应时效控制在5分钟内。
- 实时任务平台搭建与5GC数据清洗
- 5GC数据实时清洗：针对国家安全数据合规需求，开发5GC信令、用户行为等数据的实时清洗规则300+条，数据清洗准确率达99.5%；
- 分布式任务管理架构：搭建“中心集群-省级节点”两级任务管理体系，中心集群统一下发清洗任务，各省节点自动拉取并实时更新，任务下发同步时效控制在15秒内；
- 数据汇总清洗架构落地：构建“省级采集-中心汇总-统一清洗”的三级数据处理链路，解决各省数据格式不统一问题，数据汇总处理时效从天级降至20分钟；
- 配套平台建设：开发实时任务监控、管理可视化平台，覆盖任务执行状态、数据吞吐量、异常告警等20+类核心维度，实现任务全生命周期可管可控。