(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210822619.5 (22)申请日 2022.07.13 (71)申请人 清智汽车 科技 （苏州） 有限公司 地址 215131 江苏省苏州市相城区高铁新 城太阳路2 266号5幢11层1110-B室 (72)发明人 夏学明　张磊　房岳楼　 (51)Int.Cl. G06V 10/80(2022.01) G06V 20/64(2022.01) G06T 3/00(2006.01) G06T 5/50(2006.01) G01S 17/86(2020.01) G01S 17/931(2020.01) (54)发明名称 多传感器数据的融合方法和装置、 存储介 质、 电子装置 (57)摘要 本申请公开了一种多传感器数据的融合方 法和装置、 存储介质、 电子装置。 其中， 该方法包 括： 获取车载摄像头采集到的2D图像和车载激光 雷达采集到的3D点云， 其中， 所述2D图像的采集 时刻与所述3D点 云的采集时刻相同； 基于 所述3D 点云中每个点与所述2D图像中像素之间的对应 关系， 将所述3D点云中的点映射到所述2D图像 中， 生成所需的目标图像。 本申请解决了相关技 术中单一传感器的数据不够丰富的技 术问题。 权利要求书2页 说明书8页 附图1页 CN 115205644 A 2022.10.18 CN 115205644 A 1.一种多传感器数据的融合方法， 其特 征在于， 包括： 获取车载摄像头采集到的2D图像和车载激光雷达采集到的3D点云， 其中， 所述2D图像 的采集时刻与所述3D点云的采集时刻相同； 基于所述3D点云中每个点与所述2D图像中像素之间的对应关系， 将所述3D点云中的点 映射到所述2D图像中， 生成所需的目标图像。 2.根据权利要求1所述的方法， 其特征在于， 基于所述3D点云中每个点与所述2D图像 中 像素之间的对应关系， 将所述3D点云中的点映射到所述2D图像中， 生成所需的目标图像， 包 括： 将所述车 载摄像头采集到的2D图像和所述车 载激光雷达采集到的3D点云输入GPU； 利用所述GPU， 根据所述3D点云中每个点与所述2D图像中点之间 的对应关系， 将所述3D 点云中的点映射到所述2D图像中， 生成所述目标图像。 3.根据权利要求2所述的方法， 其特征在于， 将所述车载摄像头采集到的2D图像和所述 车载激光雷达采集到的3D点云输入GPU， 包括： 将数据类型为uint8的所述2D图像输入所述GPU， 并将point_count个点组成的点云输 入所述GPU， 其中， 所述2D图像是高度为h个像素、 宽度为w个像素的RGB图像， 所述点云中的 每个点具有四维信息， 所述四维信息中的三个维度表示点在所述车载激光雷达坐标系下的 坐标， 剩下的一维表示反射 率， point_count、 h以及w均为 正整数。 4.根据权利要求2所述的方法， 其特征在于， 在根据所述3D点云中每个点与所述2D图像 中点之间的对应关系， 将所述3D点云中的点映射到所述2D图像中， 生成所述目标图像之前， 所述方法还 包括： 获取从所述车 载激光雷达的坐标系到所述车 载摄像头的相机坐标系之间的变换矩阵； 获取所述车载摄像头的内参矩阵。 5.根据权利要求3所述的方法， 其特征在于， 根据所述3D点云中每个点与所述2D图像 中 点之间的对应关系， 将所述3D点云中的点映射到所述2D图像中， 生成所述目标图像， 包括： 利用所述车载激光雷达的坐标系到所述车载摄像头的相机坐标系之间的变换矩阵， 将 所述3D点云中的点映射到所述车 载摄像头的相机坐标系中； 将所述车 载摄像头的相机坐标系中的点映射到所述2D图像的图像坐标中； 去掉落在所述2D图像的像素范围之外的点、 并保留落在相同像素上的多个点中距离最 近的点； 将所述图像坐标内的点与所述2D图像进行融合， 得到所述目标图像。 6.根据权利要求5所述的方法， 其特征在于， 将所述图像坐标内的点与所述2D图像进行 融合， 得到所述目标图像， 包括： 构造与所述2D图像大小相同的所述目标图像， 将所述2D图像 中的像素点的三个维度的 信息和落在该像素点上的点的四维信息写入所述目标图像中相同位置的像素点。 7.根据权利 要求2所述的方法， 其特征在于， 利用所述GPU， 根据所述3D点云中每个点与 所述2D图像中点之间的对应关系， 将所述3D点云中的点映射到所述2D图像中， 生成所述目 标图像， 包括： 利用所述GPU对所述3D点云中的点与所述2D图像中的点进行并行处 理。 8.一种多传感器数据的融合装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 115205644 A 2获取单元， 用于获取车载摄像头采集到的2D图像和车载激光雷达采集到的3D点云， 其 中， 所述2D图像的采集时刻与所述3D点云的采集时刻相同； 融合单元， 用于基于所述3D点云中每个点与所述2D图像中像素之间的对应关系， 将所 述3D点云中的点映射到所述2D图像中， 生成所需的目标图像。 9.一种存储介质， 其特征在于， 所述存储介质包括存储的程序， 其中， 所述程序运行时 执行上述权利要求1至7任一项中所述的方法。 10.一种电子装置， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器通过所述计算机程序执行上述权利要求1至7任 一项中所述的方法。权　利　要　求　书 2/2 页 3 CN 115205644 A 3