(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210732739.6 (22)申请日 2022.06.27 (71)申请人 同济大学 地址 201804 上海市嘉定区曹 安公路480 0 号 (72)发明人 毕欣　翁才恩　仝盼盼　熊璐　 张博　杨士超　 (74)专利代理 机构 江苏长德知识产权代理有限 公司 32478 专利代理师 李同根 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种多源异构感知信息多层级融合表征与 目标识别方法 (57)摘要 本发明公开了一种多源异构感知信息多层 级融合表征与目标识别方法， 涉及感知信息处理 技术领域， 该方法包括以下步骤： 在数据级将相 机、 毫米波雷达和激光雷达的感知数据融合后进 行多粒度分解， 进行相机图像、 毫米波雷达稀疏 点云数据和激光雷达点云数据表征； 在特征级分 别对相机、 毫米波雷达和激光雷达的输出数据进 行特征提取； 将相机、 毫米波雷达和激光雷达提 取后的数据特征在不同深度上进行动态连续融 合， 效果是通过相机、 毫米波雷达和激光雷达进 行感知目标观测数据的收集， 进行多层级融合， 解决传感器在异常情况(遮挡、 小目标和数据异 常等)下目标检测的精度和鲁棒性， 从而提高自 动驾驶的安全性。 权利要求书2页 说明书6页 附图1页 CN 115100618 A 2022.09.23 CN 115100618 A 1.一种多源异构感知信息多层级融合表征与目标识别方法， 其特征在于， 该方法包括 以下步骤： 在数据级将相机、 毫米波雷达和激光雷达的感知数据融合后进行多粒度分解， 进行相 机图像、 毫米波雷达稀疏点云数据和激光雷达点云数据表征； 在特征级分别对相机、 毫米波雷达和激光雷达的输出 数据进行 特征提取； 将相机、 毫米波雷达和激光雷达提取后的数据特征在不同深度上进行动态连续融合， 并利用感兴趣区域池化操作将不同深度的特 征进行串接； 通过解码器进行相机、 毫米波雷达和激光雷达数据的特 征级融合与表征； 在目标级通过对相机、 毫米波雷达和激光雷达的数据进行特征提取， 通过全连接进行 分类得到相机、 毫米波雷达和激光雷达的目标检测结果； 通过匈牙利算法进行 数据关联与融合得到目标级的融合与表征； 将获得的数据级、 特 征级和目标级数据表征对比和融合后进行目标感知。 2.根据权利要求1所述的一种多源异构感知信息多层级融合表征与目标识别方法， 其 特征在于， 在数据级将相机、 毫米波雷达和激光雷达的感知数据融合， 具体为： 相机、 毫米波雷达和激光雷达的感知数据分别为相机 图像、 毫米波雷达稀疏点云数据 和激光雷达点云数据； 相机图像通过透 视变换将正视图投影到俯视图； 激光雷达点云数据为三维视 图， 选择离地的水平平面为俯视投影平面， 去 除地面的点 云后， 再将点云投影到该 水平平面上； 毫米波雷达稀疏点云数据为俯视的二维平面点云， 即将相机 图像、 毫米波雷达稀疏点 云数据和激光雷达点云数据转换至俯视图。 3.根据权利要求2所述的一种多源异构感知信息多层级融合表征与目标识别方法， 其 特征在于， 多粒度分解具体为： 将俯视图相机图像、 毫米波雷达稀疏点云数据和激光雷达点云数据转换为鸟瞰图； 将相机图像的鸟瞰图与激光雷达点云数据的鸟瞰图进行匈 牙利匹配关联； 将相机图像颜色纹 理数据用匹配后的激光雷达点云深度数据进行替代。 4.根据权利要求3所述的一种多源异构感知信息多层级融合表征与目标识别方法， 其 特征在于， 在特征级分别对相机、 毫米波雷达和激光雷达的输出数据进行特征提取， 具体 为： 相机、 毫米波雷达和激光雷达的输出数据分别为相机 图像、 毫米波雷达稀疏点云数据 和激光雷达点云数据； 将相机图像进行锐化处 理使相机图像边 缘突显； 激光雷达点云数据提取点云的几何边 缘特征； 毫米波雷达稀疏点云数据提取 雷达点的特 征。 5.根据权利要求4所述的一种多源异构感知信息多层级融合表征与目标识别方法， 其 特征在于， 在目标级通过对相机、 毫米波雷达和激光雷达的数据进行 特征提取， 具体为： 相机、 毫米波雷达和激光雷达的数据分别为相机 图像、 毫米波雷达稀疏点云数据和激 光雷达点云数据； 提取相机图像的纹 理特征；权　利　要　求　书 1/2 页 2 CN 115100618 A 2提取激光雷达点云数据的几何边 缘特征； 提取毫米波雷达稀疏点云数据的运动特 征。权　利　要　求　书 2/2 页 3 CN 115100618 A 3