(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864810.6 (22)申请日 2022.07.21 (71)申请人 深圳元戎启行 科技有限公司 地址 518000 广东省深圳市福田区福保街 道福保社区桃花路与 槟榔道交汇处西 北深九科技创业园6号楼C701(7-8层) (72)发明人 万锐　许双杰　邹晓艺　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 李申 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/64(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G01S 13/86(2006.01) G01S 13/931(2020.01) G01S 17/86(2020.01) G01S 17/931(2020.01) (54)发明名称 点云与图像融合的方法、 相关检测方法、 设 备及存储介质 (57)摘要 本申请公开了一种点云与图像融合的方法、 相关检测方法、 设备及存储介质， 点云与图像融 合的方法包括获取用于描述预定场景的点云和 图像； 对点云进行特征提取， 以获取点云俯瞰特 征图； 对图像进行增广处理， 并对增广处理后的 图像进行特征提取， 以获取图像俯瞰特征图； 将 点云俯瞰特征图和图像俯瞰特征图输入到深度 学习模型中， 以获得与点云俯瞰特征图和图像俯 瞰特征图相应的权重特征图； 利用权重特征图， 将点云俯瞰特征图和图像俯瞰特征图进行融合， 从而获得用于描述预定场景的融合特征图。 本申 请通过对图像进行增广处理， 以使得深度学习模 型能够根据不同质量的图像对权重特征图进行 调整并输 出， 能够有效提高深度学习模型的感知 性能。 权利要求书2页 说明书9页 附图2页 CN 115424221 A 2022.12.02 CN 115424221 A 1.一种点云与图像融合的方法， 其特 征在于， 包括： 获取用于描述预定场景的点云和图像； 对所述点云进行 特征提取， 以获取点云俯瞰特 征图； 对所述图像进行增广处理， 并对增广处理后的所述图像进行特征提取， 以获取图像俯 瞰特征图； 将所述点云俯瞰特征图和所述图像俯瞰特征图输入到深度 学习模型中， 以获得与 所述 点云俯瞰特 征图和所述图像俯瞰特 征图相应的权 重特征图； 利用所述权重特征图， 将所述点云俯瞰特征图和所述图像俯瞰特征图进行融合， 从而 获得用于描述所述预定场景的融合特 征图。 2.根据权利要求1所述的方法， 其特征在于， 所述增广处理包括如下中的至少一个操 作： 随机丢掉操作， 用于表征将所述图像 变换成黑色图像； 对比度增 加操作， 用于表征将所述图像的对比度增 加预设值； 炫光模拟 操作， 用于表征在所述图像的预设部分随机添加白色炫光圈； 黑夜模拟 操作， 用于表征将所述图像的亮度减小预设值； 以及 遮挡模拟 操作， 用于表征随机产生灰色 色块， 以设置在所述图像的预设部分上。 3.根据权利要求1所述的方法， 其特征在于， 所述深度学习 模型包括合并操作和卷积操 作； 将所述点云俯瞰特征图和所述图像俯瞰特征图输入到深度 学习模型中， 以获得与 所述 点云俯瞰特 征和所述图像俯瞰特 征相应的权 重特征图， 包括： 将所述点云俯瞰特征图中的每个点云俯瞰特征和所述图像俯瞰特征图中相应的图像 俯瞰特征进行通道合并操作， 以获得合并结果； 对所述合并结果执行卷积操作， 获得所述权重特征图中的权重特征， 其中所述权重特 征图与所述 点云俯瞰特 征图和所述图像俯瞰特 征图的形状相同。 4.根据权利要求1所述的方法， 其特征在于， 利用所述权重特征图， 将所述点云俯瞰特 征图和所述图像俯瞰特 征图进行融合， 包括： 利用所述权 重特征图， 将所述 点云俯瞰特 征图和所述图像俯瞰特 征图进行加权融合。 5.根据权利要求4所述的方法， 其特征在于， 所述 融合特征图F＝M*L+(1 ‑M)*I， 其中M为 所述权重特征图中的权重特征， L为所述点云俯瞰特征图中点云俯瞰特征， I为所述图像俯 瞰特征图中相应的图像俯瞰特 征。 6.根据权利要求1 ‑5中任一项所述的方法， 其特征在于， 对增广处理后的所述图像进行 特征提取， 以获取图像俯瞰特 征图， 包括： 依据增广处理后的所述图像的范围和目标分辨率， 获取预设俯瞰特征图， 其中所述预 设俯瞰特 征图通过格网表征； 对于所述预设俯瞰特征图中的每个格网， 获取其3D位置， 并依据所述3D位置投影到环 视图对应的预设数量个尺度的特征图中， 并在投影位置处对每个尺度的特征进行插值， 以 获得所述格网对应的所述预设数量个特 征； 将所述预设数量个特 征输入到预设学习模型， 以获得 所述图像俯瞰特 征图。 7.根据权利要求1 ‑5中任一项所述的方法， 其特征在于， 对所述点云进行特征提取， 以权　利　要　求　书 1/2 页 2 CN 115424221 A 2获取点云俯瞰特 征图， 包括： 对所述点云执行体素化操作， 以获得体素化初始特 征； 使用预设的稀疏卷积网络， 对所述体素化初始特征进行特征提取， 从而获取所述点云 俯瞰特征图。 8.一种3D目标检测方法， 其特 征在于， 包括： 获取用于描述预定场景的点云和图像的融合特 征图； 使用3D检测头， 对所述融合特 征图进行检测， 以获得相应3D目标的3D检测框； 其中， 所述融合特征图是利用权利要求1 ‑7中任一项所述的点云与图像融合的方法而 得到的。 9.一种车载设备， 其特征在于， 包括相互耦接的存储器和处理器， 所述处理器用于执行 所述存储器中存储的程序指 令， 以实现如权利要求1至7任一项 所述的点云与图像融合的方 法以及如权利要求8所述的3D目标检测方法。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存 储计算机程序， 所述计算机程序在被处理器执行时， 用于实现如权利要求 1‑7中任一项 所述 的点云与图像融合的方法以及 如权利要求8所述的3D目标检测方法。权　利　要　求　书 2/2 页 3 CN 115424221 A 3