数据回放的展示方法及装置、流处理系统
类型：国家专利
申请日：2025.03.21
公开号：CN120335912A
公开日期：2025.07.18
申请人：中电信人工智能科技（北京）有限公司
发明人：黄一纯
- 解决的行业核心痛点
- 监测粒度不足：流处理系统（如Flink）仅能提供作业级别的历史信息，缺少对作业内部算子执行细节的记录；
- 无回放能力：无法查看流处理系统执行任务全生命周期数据，仅能查看已完成作业的最终数据，缺少算子日志记录导致无法实现回放功能；
- 存储效率低：未针对流处理系统指标数据设计高效存储机制，易出现内存占用过高、数据冗余问题。
- 核心技术创新
- 数据回放展示方法：接收含目标时刻的回放请求，读取存储系统中对应时刻的算子性能指标数据，生成包含算子静态属性和算子间动态交互信息的回放视图；
- 高效存储机制：存储系统采用双写机制（实时数据存为透传文件+压缩数据替换对应透传文件），日志收集器通过环形缓冲区存储实时数据，内存余量不足时触发压缩，压缩率可达1:25；
- 流处理系统架构：在TaskManager中嵌入日志采集器（LogSampler）和日志收集器（LogCollector），实现算子级性能指标实时采集；
- 回放视图生成：基于算子静态属性生成性能列表，基于动态交互信息生成指示数据流方向和转换过程的射线，直观展示算子间数据流动；
- 目标时刻确定：支持通过交互界面拖动进度条选定回放时刻，停止拖动超预设时长后确认目标时刻。
- 保护范围
- 涵盖数据回放的展示方法、流处理系统、数据回放的展示装置；
- 包含非易失性存储介质、电子设备、计算机程序产品等落地形式。