(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210881547.1 (22)申请日 2022.07.21 (71)申请人 深圳元戎启行 科技有限公司 地址 518000 广东省深圳市福田区福保街 道福保社区桃花路与 槟榔道交汇处西 北深九科技创业园6号楼C701(7-8层) (72)发明人 万锐　许双杰　邹晓艺　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 李申 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/64(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G01S 13/86(2006.01) G01S 13/931(2020.01) G01S 17/86(2020.01) G01S 17/931(2020.01) (54)发明名称 基于分支融合的相关方法、 车载设备及存储 介质 (57)摘要 本申请公开了一种基于分支融合的相关方 法、 车载设备及存储介质， 融合方法包括获取用 于描述预定场景的点云和图像； 对点云进行特征 提取， 以获取点云俯瞰特征图； 对图像进行特征 提取， 以获取图像俯瞰特征图； 将点云俯瞰特征 图和图像俯瞰特征图输入到第一深度学习模型， 以得到融合特征图； 将点云俯瞰特征图和融合特 征图输入到第二深度学习模型中， 以获得与点云 俯瞰特征图和融合特征图相应的权重特征图； 利 用权重特征图， 对点云俯瞰特征图和融合特征图 进行融合， 以得到用于描述预定场景的目标检测 特征图。 本申请通过权重特征图对不同网络分支 内的点云俯瞰特征图和 融合特征图进行自适应 学习， 能够有效保证整个网络模型的感知性能。 权利要求书2页 说明书9页 附图2页 CN 115424222 A 2022.12.02 CN 115424222 A 1.一种点云与图像的融合方法， 其特 征在于， 包括： 获取用于描述预定场景的点云和图像； 对所述点云进行 特征提取， 以获取点云俯瞰特 征图； 对所述图像进行 特征提取， 以获取图像俯瞰特 征图； 将所述点云俯瞰特征图和所述图像俯瞰特征图输入到第 一深度学习模型， 以得到 融合 特征图； 将所述点云俯瞰特征图和所述融合特征图输入到第 二深度学习模型中， 以获得与 所述 点云俯瞰特征图和所述融合特征图相应的权重特征图， 其中所述第二深度学习模型与所述 第一深度学习模型不同； 利用所述权重特征图， 对所述点云俯瞰特征图和所述融合特征图进行融合， 以得到用 于描述所述预定场景的目标检测特 征图。 2.根据权利要求1所述的方法， 其特征在于， 所述第 一深度学习模型包括合并操作和卷 积操作； 将所述点云俯瞰特 征图和所述图像俯瞰特 征图输入到第一深度学习模型， 包括： 将所述点云俯瞰特征图中的每个点云俯瞰特征和所述图像俯瞰特征图中相应的图像 俯瞰特征进行通道合并操作， 以获得第一 合并结果； 对所述第一 合并结果执 行第一卷积 操作， 获得 所述融合特 征图中的融合特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述第 二深度学习模型包括合并操作和卷 积操作； 将所述点云俯瞰特征图和所述融合特征图输入到第 二深度学习模型中， 以获得与 所述 点云俯瞰特 征图和所述融合特 征图相应的权 重特征图， 包括： 将所述点云俯瞰特征图中的每个点云俯瞰特征和所述融合特征图中相应的融合特征 进行通道合并操作， 以获得第二 合并结果； 对所述第二 合并结果执 行第二卷积 操作， 获得 所述权重特征图中的权 重特征。 4.根据权利要求1所述的方法， 其特征在于， 利用所述权重特征图， 对所述点云俯瞰特 征图和所述融合特 征图进行融合， 包括： 获取所述点云俯瞰特征图中每个点云俯瞰特征对应的点云检测特征， 并获取所述融合 特征图中每 个融合特 征对应的融合检测特 征； 利用所述权重特征图， 对所述点云检测特征和所述融合检测特征进行加权融合， 以得 到所述目标检测特 征图。 5.根据权利要求4所述的方法， 其特征在于， 所述目标检测特征 图O＝M*L ’+(1‑M)*F’， 其中M为所述权重特征图中的权重特征， L ’为所述点云俯瞰特征图中点云俯瞰特征对应的 点云检测特 征， F’为所述融合特 征图中融合特征对应的融合检测特 征。 6.根据权利要求1 ‑5中任一项所述的方法， 其特征在于， 对所述图像进行特征提取， 以 获取图像俯瞰特 征图， 包括： 依据所述图像的范围和目标分辨率， 获取预设俯瞰特征图， 其中所述预设俯瞰特征图 通过网格表征； 对于所述预设俯瞰特征图中的每个网格， 获取其3D位置， 并依据所述3D位置投影到环 视图对应的预设数量个尺度的特征图中， 并在投影位置处对每个尺度的特征进行插值， 以权　利　要　求　书 1/2 页 2 CN 115424222 A 2获得所述网格对应的所述预设数量个特 征； 将所述预设数量个特 征输入到预设学习模型， 以获得 所述图像俯瞰特 征图。 7.根据权利要求1 ‑5中任一项所述的方法， 其特征在于， 对所述点云进行特征提取， 以 获取点云俯瞰特 征图， 包括： 对所述点云执行体素化操作， 以获得体素化初始特 征； 使用预设的稀疏卷积网络， 对所述体素化初始特征进行特征提取， 从而获取所述点云 俯瞰特征图。 8.一种3D目标检测方法， 其特 征在于， 包括： 获取用于描述预定场景的点云和图像的目标检测特 征图； 使用3D检测头， 对所述目标检测特 征图进行检测， 以获得相应3D目标的3D检测框； 其中， 所述目标检测特征图是利用权利要求1 ‑7中任一项所述的点云与图像的融合方 法而得到的。 9.一种车载设备， 其特征在于， 包括相互耦接的存储器和处理器， 所述处理器用于执行 所述存储器中存储的程序指 令， 以实现如权利要求1至7任一项 所述的点云与图像的融合方 法以及如权利要求8所述的3D目标检测方法。 10.一种非易失性计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存 储计算机程序， 所述计算机程序在被处理器执行时， 用于实现如权利要求 1‑7中任一项 所述 的点云与图像的融合方法以及 如权利要求8所述的3D目标检测方法。权　利　要　求　书 2/2 页 3 CN 115424222 A 3