(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210748462.6 (22)申请日 2022.06.28 (71)申请人 河北德冠隆电子科技有限公司 地址 050030 河北省石家庄市裕华区槐安 东路105号怀特商业广场B座20 02室 (72)发明人 冯保国　吴建波　张德祥　 (74)专利代理 机构 北京中企鸿阳知识产权代理 事务所(普通 合伙) 11487 专利代理师 苏艳 (51)Int.Cl. G01S 13/91(2006.01) G01S 13/86(2006.01) G01J 5/48(2006.01) G06V 10/80(2022.01) G08G 1/01(2006.01)H04N 5/33(2006.01) (54)发明名称 基于多频谱多波段全天候工作的复合雷达 数据处理系统 (57)摘要 本发明提出了一种基于多频谱多波段全天 候工作的复合雷达数据处理系统， 包括： 高清摄 像机、 毫米波雷达、 红外热成像摄像机、 传感器数 据收发模块、 规则设置与目标各类数据获取模 块、 统一时钟和坐标转换模块、 多维传感器数据 融合关联模块、 融合后数据修正及补偿模块、 异 常报警及分类数据生成与输出模块， 采用AI与AR 数据合成图像叠加算法实现对复合雷达所采集 的多维度数据和图像进行叠加合 成， 生成目标的 行为分析数据、 异常事件检测数据、 异常路况检 测数据、 异常环境检测数据、 目标多维度数据采 集、 报警数据和AR合成图像数据， 并发送至外部 的第三方应用平台， 供用户查看或第三方应用平 台进行二次加工处 理使用。 权利要求书4页 说明书9页 附图3页 CN 115327545 A 2022.11.11 CN 115327545 A 1.一种基于多频谱多波段全天候工作的复合雷达数据处理系统， 其特征在于， 包括： 高 清摄像机、 毫米波雷达、 红外热成像摄像机、 传感器数据收发模块、 规则设置与目标各类数 据获取模块、 统一时钟和坐标转换模块、 多维传感器数据融合关联模块、 融合后数据修正及 补偿模块、 异常报警及分类数据生成与输出模块； 其中， 所述高清摄 像机用于获取目标的特 征信息； 所述毫米波雷达用于获取目标的动态信息； 所述红外热成像 摄像机用于获取目标的特 征信息、 高温点和温度信息； 所述传感器数据收发模块的输入端与所述高清摄像机、 所述毫米波雷达和所述述红外 热成像摄像机的输出端连接， 用于分别接 收来自所述高清摄像机的目标的特征信息、 所述 毫米波雷达的目标的动态信息、 所述红外热成像摄像机的目标的特征信息、 高温点和温度 信息； 所述规则设置与目标各类数据获取模块的输入端与所述传感器数据收发模块的输出 端连接， 用于设置目标数据的提取规则， 并根据所述提取规则分析获取目标特征及轮廓数 据、 目标轮廓及热度点数据和目标动态数据； 所述统一 时钟和坐标转换模块与 所述规则设置与目标各类数据获取模块双向连接， 用 于提供统一时钟， 并将各类数据转换至统一的标准 坐标系， 以便 于后续的数据处 理； 所述多维传感器数据融合关联模块与所述统一 时钟和坐标转换模块双向连接， 用于在 统一的时钟和标准坐标系下， 对来自于高清摄像机通过AI视频图形分析获取 的目标数据、 来自于毫米波雷达获取 的目标数据和来自于红外热成像摄像机通过AI视频图形分析获取 的目标数据， 采用已存储的融合算法， 对上述数据通过多维度时空属 性融合形成完整的目 标多维度属性信息； 所述融合后数据修正及补偿模块与 所述多维传感器数据融合关联模块双向连接， 用于 对经过所述所述多维传感器数据融合关联模块融合后的目标数据进行修正和校验， 对目标 轨迹进行修 正， 以及对目标点迹进行补偿； 所述异常报警及分类数据生成与输出模块与所述融合后数据修正及补偿模块双向连 接， 用于采用A I与AR数据合成图像叠加算法实现对复合雷达所采集的多维度数据和图像进 行叠加合成， 生成目标的行为分析数据、 异常事件检测数据、 异常路况检测数据、 异常环境 检测数据、 目标多维度数据采集、 报警数据和AR合成图像数据， 并将高清摄像机、 毫米波雷 达、 红外热成像摄像机采集的原始数据包括雷达原始数据、 高清摄像机和红外热成像摄像 机视频图像数据以及生成目标的行为分析数据、 异常事件检测数据、 异常路况检测数据、 异 常环境检测数据、 目标多维度数据采集、 报警数据和AR合成图像数据， 并发送至外部的第三 方应用平台， 供用户查看或第三方应用平台进行二次加工处 理使用。 2.如权利要求1所述的基于多频谱多波段全天候工作的复合雷达数据处理系统， 其特 征在于， 所述传感器数据收发模块， 包括： 高清摄像机接 收模块、 红外热成像传感器接 收模 块、 毫米波雷达 接收模块， 其中， 所述高清摄像机接收模块的输入端与所述高清摄像机的输出端连接， 用于接收来自所 述高清摄 像机的目标的特 征信息和高清摄 像机的视频图像信息； 所述毫米波雷达接收模块的输入端与所述毫米波雷达的输出端连接， 用于接收来自所 述毫米波雷达的目标的动态信息和毫米雷达的点云数据信息；权　利　要　求　书 1/4 页 2 CN 115327545 A 2所述红外热成像摄像机接收模块的输入端与所述红外热成像摄像机的输出端连接， 用 于接收来自红外热成像摄像机的目标的特征信息、 高温点、 温度信息和红外热成像摄像机 的视频图像信息 。 3.如权利要求1所述的基于多频谱多波段全天候工作的复合雷达数据处理系统， 其特 征在于， 所述规则 设置与目标各类数据获取模块， 包括： 目标特征及轮廓数据获取模块、 目 标轮廓及热点数据获取模块和目标动态数据获取模块， 其中， 所述目标特征及轮廓数据获取模块的输入端与所述高清摄像机接收模块的输出端连 接， 用于根据设置的提取规则获取目标的特 征及轮廓数据； 所述目标轮廓及热度点数据获取模块的输入端与所述毫米波雷达接收模块的输出端 连接， 用于根据设置的提取规则获取目标轮廓及热度点数据； 所述目标动态数据获取模块的输入端与红外热成像摄像机接收模块的输出端连接， 用 于根据设置的提取规则获取目标动态数据。 4.如权利要求1所述的基于多频谱多波段全天候工作的复合雷达数据处理系统， 其特 征在于， 所述统一时钟 和坐标转换模块， 包括： 时钟模块和统一 坐标转换模块， 其中， 所述时钟模块与所述目标特征及轮廓数据获取模块、 所述目标轮廓及热度点数据获取 模块和所述 目标动态数据获取模块连接， 用于提供统一的时钟信号； 所述时钟模块进一步 向整个系统提供 统一的工作时钟信息， 包括向所述高清摄像机、 毫米波 雷达、 红外热成像摄 像机进行统一授时； 所述统一坐标转换模块与 所述目标特征及轮廓数据获取模块、 所述目标轮廓及热度点 数据获取模块和所述目标动态数据获取模块连接， 用于将数据转换至统一的标准坐标系 下。 5.如权利要求1所述的基于多频谱多波段全天候工作的复合雷达数据处理系统， 其特 征在于， 所述多维传感器数据融合关联模块， 包括： 数据时间融合机制模块、 数据空间融合 机制模块、 目标 投影融合机制模块、 目标位移融合机制模块、 目标伴影融合机制模块和目标 要素融合机制模块， 其中， 所述数据时间融合机制模块， 用于对接收到的来自于高清摄像机通过AI视频图形分析 获取的目标数据、 来自于毫米波 雷达获取的目标数据和来自于红外热成像摄像机通过A I视 频图形分析获取的目标 数据， 进行时间融合： 同时间位置变化处 理； 所述数据空间融合机制模块， 用于对接收到的来自于高清摄像机通过AI视频图形分析 获取的目标数据、 来自于毫米波 雷达获取的目标数据和来自于红外热成像摄像机通过A I视 频图形分析获取的目标 数据， 进行空间融合： 阴影伴随融合方式； 所述目标投影 融合机制模块， 用于对接收到的来自于高清摄像机通过AI视频图形分析 获取的目标数据、 来自于毫米波 雷达获取的目标数据和来自于红外热成像摄像机通过A I视 频图形分析获取的目标 数据进行投影融合； 所述目标位移融合机制模块， 用于对接收到的来自于高清摄像机通过AI视频图形分析 获取的目标数据、 来自于毫米波 雷达获取的目标数据和来自于红外热成像摄像机通过A I视 频图形分析获取的目标 数据进行位移融合； 所述目标伴影 融合机制模块， 用于对接收到的来自于高清摄像机通过AI视频图形分析 获取的目标数据、 来自于毫米波 雷达获取的目标数据和来自于红外热成像摄像机通过A I视权　利　要　求　书 2/4 页 3 CN 115327545 A 3