多模态数据同步方法、装置、收集系统及电子设备
类型：国家专利
年份：2025
公开号：CN119202083A
一、核心技术创新与解决的行业痛点
- 解决的行业核心痛点
- 数据孤立：相关技术中多模态数据（文本、图像、音频、视频等）采用分离式处理方案，易丢失数据相关性，导致信息割裂；
- 时间不同步：多模态数据采集过程中因数据源时间偏差、分离采集等问题，导致时间不同步，降低数据处理有效性；
- 中心化运算效率低：传统方案需批次离线同步，无法在数据源头预处理，传输延迟高、处理效率低。
- 核心技术创新
- 多模态数据同步方法：通过确定不同模态数据的初始时间戳、计算时间戳置信度，选定置信度最高的基准数据及基准时间轴；识别基准事件与关联事件，依据基准时间戳对目标数据时间流进行校正，实现多模态数据时间对齐；
- 时间流校正机制：引入预设压缩倍率、校正持续时长修正数据上报时刻，设置校正停止条件；在校正失效时触发补偿机制，包括队列缓存、数据回滚、基准数据重新选择；
- 扩展Watermark机制：创新Watermark概念适配多模态数据场景，解决不同数据源物理时间差异问题，包含水印生成器、置信度计算器、同步器、事件标记栅栏等核心部件；
- 多模态数据同步收集系统：构建代理服务器+实时采集预处理框架架构，代理服务器集成预处理模块（支持Filter、Standardization、Mapper、AddAttribute等自定义插件）和时间同步模块；实时采集预处理框架包含流采集引擎与多模态数据库；
- 多模态数据同步装置：设计第一至第四处理模块，分别对应初始时间戳确定、置信度与基准数据确定、基准/关联事件识别、时间流校正核心步骤。
- 保护范围
- 涵盖多模态数据同步方法、同步收集系统、同步装置；
- 包含非易失性存储介质、电子设备、计算机程序产品等落地形式。