(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210688796.9 (22)申请日 2022.06.17 (71)申请人 苏州浪潮智能科技有限公司 地址 215000 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 龚湛　 (74)专利代理 机构 北京连和连知识产权代理有 限公司 1 1278 专利代理师 张元　杨帆 (51)Int.Cl. G06V 20/56(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种多相机图像的3D目标检测方法、 装置、 设备及介质 (57)摘要 本发明涉及图像处理领域， 尤其涉及一种多 相机图像的3D目标检测方法、 装置、 设备及介质。 所述方法包括： 获取自动驾驶车辆多相机输入的 多个图像并利用预先训练的第一神经网络得到 每个图像对应的第一特征图； 将每个第一特征图 分别输入到多个预先训练的第二神经网络以得 到多个尺度的第二特征图； 将每个第一特征图分 别输入到预先训练的第三神经网络以得到与每 个第二特征图对应的深度特征； 将每个尺度的第 二特征图和深度特征进行融合 以得到多个尺度 的鸟瞰图； 将多个尺度的鸟瞰图进行融合后输入 到预先训练的第四神经网络进行特征提取， 并利 用3D目标检测算法对所提取的特征进行回归和 分析。 本发 明的方案显著提升不同尺度目标的检 测精度。 权利要求书2页 说明书7页 附图4页 CN 114998856 A 2022.09.02 CN 114998856 A 1.一种多相机图像的3D目标检测方法， 其特 征在于， 所述方法包括： 获取自动驾驶车辆多相机输入的多个图像， 并利用预先训练的第 一神经网络对每个图 像进行特征提取以得到对应的第一特 征图； 将每个第一特征图分别输入到多个预先训练 的第二神经网络进行尺度变换， 以得到多 个尺度的第二特 征图； 将每个第一特征图分别输入到与每个预先训练的第二神经网络对应的预先训练的第 三神经网络进行深度信息提取， 以得到与每 个第二特 征图对应的深度特 征； 将每个尺度的第二特 征图和对应的深度特 征进行融合以得到多个尺度的鸟瞰图； 将多个尺度的鸟瞰图进行融合后输入到预先训练 的第四神经网络进行特征提取， 并利 用3D目标检测算法对所提取的特 征进行回归和分析。 2.根据权利要求1所述的多相机图像的3D目标检测方法， 其特征在于， 所述方法还包 括： 在训练过程中引入激光雷达点云数据， 提取所述激光雷达点云数据的特征并与每个第 二特征图对应的深度特 征进行比较， 并基于比较结果对第三神经网络进行参数矫 正。 3.根据权利要求1所述的多相机图像的3D目标检测方法， 其特征在于， 多个预先训练 的 第二神经网络包括三种， 三种预先训练的第二神经网络所输出的第二特征图的尺寸分别等 于原始多相机 输入图像尺寸的1/8、 1/16、 1/ 32。 4.根据权利要求1所述的多相机图像的3D目标检测方法， 其特征在于， 在执行所述利用 3D目标检测算法对所提取的特 征进行回归和分析的步骤之前还 包括： 预先对所提取的特 征进行翻转、 旋转和缩放中的至少一种处 理。 5.一种多相机图像的3D目标检测装置， 其特 征在于， 所述装置包括： 第一提取模块， 配置用于获取自动驾驶车辆多相机输入的多个图像， 并利用预先训练 的第一神经网络每 个对图像进行 特征提取以得到对应的第一特 征图； 尺度变换模块， 配置用于将每个第 一特征图分别 输入到多个预先训练 的第二神经网络 进行尺度变换， 以得到多个尺度的第二特 征图； 深度信息提取， 配置用于将每个第 一特征图分别 输入到与每个预先训练 的第二神经网 络对应的预先训练的第三神经网络进 行深度信息提取， 以得到与每个第二特征图对应的深 度特征； 融合模块， 配置用于将每个尺度的第 二特征图和对应的深度特征进行融合以得到多个 尺度的鸟瞰图； 检测模块， 配置用于将多个尺度的鸟瞰图进行融合后输入到预先训练 的第四神经网络 进行特征提取， 并利用3D目标检测算法对所提取的特 征进行回归和分析。 6.根据权利要求5所述的多相机图像的3D目标检测装置， 其特征在于， 所述装置还包 括： 矫正模块， 配置用于在训练过程中引入激光雷达点云数据， 提取所述激光雷达点云数 据的特征并与每个第二特征图对应的深度特征进 行比较， 并基于比较结果对第三神经网络 进行参数矫 正。 7.根据权利要求5所述的多相机图像的3D目标检测装置， 其特征在于， 多个预先训练 的 第二神经网络包括三种， 三种预先训练的第二神经网络所输出的第二特征图的尺寸分别等权　利　要　求　书 1/2 页 2 CN 114998856 A 2于原始多相机 输入图像尺寸的1/8、 1/16、 1/ 32。 8.根据权利要求5所述的多相机图像的3D目标检测装置， 其特征在于， 所述检测模块进 一步配置用于： 在所述利用3D 目标检测算法对所提取的特征进行回归和分析的之前预先对所提取的 特征进行翻转、 旋转和缩放中的至少一种处 理。 9.一种计算机设备， 其特 征在于， 包括： 至少一个处 理器； 以及 存储器， 所述存储器存储有可在所述处理器中运行的计算机程序， 所述处理器执行所 述程序时执 行权利要求1 ‑4任意一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时执行权利要求1 ‑4任意一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114998856 A 3