(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210810402.2 (22)申请日 2022.07.11 (71)申请人 阿里巴巴达摩院 （杭州） 科技有限公 司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层516室 (72)发明人 苗振伟　杨泽宇　陈家棋　占新　 卿泉　张力　 (74)专利代理 机构 北京合智同创知识产权代理 有限公司 1 1545 专利代理师 李杰　兰淑铎 (51)Int.Cl. G06V 20/56(2022.01) G06V 20/64(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 三维目标检测方法、 编码器及解码器 (57)摘要 本申请实施例提供了一种三维目标检测方 法、 电子设备及计算机存储介质， 其中， 三维目标 检测方法包括： 获取待检测的三维环 境的图像和 三维点云， 以及所述图像对应的图像特征图和所 述三维点云对应的点云特征图； 进行所述图像特 征图和所述点云特征图之间的特征交互， 根据特 征交互结果获得融合了点云特征的增强图像特 征图， 和， 融合了图像特征的增强点云特征图； 基 于所述增强图像特征图和所述增强点云特征图， 进行所述三维环境中的三维目标检测。 通过本申 请实施例， 能够获得高质量的三维目标检测结 果。 权利要求书3页 说明书11页 附图4页 CN 115063768 A 2022.09.16 CN 115063768 A 1.一种三维目标检测方法， 包括： 获取待检测的三维环境的图像和三维点云， 以及所述图像对应的图像特征图和所述三 维点云对应的点云特 征图； 进行所述图像特征图和所述点云特征图之间的特征交互， 根据 特征交互结果获得融合 了点云特 征的增强图像特 征图， 和， 融合了图像特 征的增强点云特 征图； 基于所述增强图像特征图和所述增强点云特征图， 进行所述三维环境中的三维 目标检 测。 2.根据权利要求1所述的方法， 其中， 所述进行所述图像特征图和所述点云特征图之间 的特征交互， 根据特征交互结果获得融合了点云特征的增强图像特征图， 和， 融合了图像特 征的增强点云特 征图， 包括： 针对所述图像特征图， 进行从图像特征到 图像特征的第一特征交互， 以及从点云特征 到图像特征 的第二特征交互； 根据第一特征交互的结果和第二特征交互的结果， 获得融合 了点云特 征的增强图像特 征图； 和， 针对所述点云特征图， 进行从点云特征到点云特征的第三特征交互， 以及从图像特征 到点云特征 的第四特征交互； 根据第三特征交互的结果和第四特征交互的结果， 获得融合 了图像特 征的增强点云特 征图。 3.根据权利要求2所述的方法， 其中， 所述从点云特征到 图像特征的第二特征交互， 包 括： 将与图像特 征图中的位置点对应位置的点云特 征进行投影 变换， 转换为图像特 征。 4.根据权利要求3所述的方法， 其中， 所述将与图像特征图中的位置点对应位置的点云 特征进行投影 变换， 转换为图像特 征， 包括： 将所述三维点云投影 变换为具有深度信息的鸟瞰图； 根据所述鸟瞰图中的像素点的位置， 获得所述像素点在所述点云特征图中对应位置处 的点云特 征； 对获得的所述 点云特征进行投影 变换， 转换为图像特 征。 5.根据权利要求2所述的方法， 其中， 所述从图像特征到点云特征的第 四特征交互， 包 括： 针对所述点云特征图中的某个像素点， 获得该像素点在所述点云特征图中的多个参考 像素点； 基于该像素点和所述多个参考像素点的位置， 从所述图像特征图中获得对应位置的多 个图像特 征； 将该像素点对应的点云特 征和获得的所述多个图像特 征进行融合。 6.根据权利要求5所述的方法， 其中， 所述基于该像素点和所述多个参考像素点的位 置， 从所述图像特 征图中获得对应位置的多个图像特 征， 包括： 基于该像素点和所述多个参 考像素点的位置， 进行投影 变换， 获得对应的二维坐标； 基于所述二维坐标， 对所述图像特征图进行对应位置的特征采集， 获得对应的多个图 像特征。 7.根据权利要求1所述的方法， 其中， 所述基于所述增强图像特征图和所述增强点云特权　利　要　求　书 1/3 页 2 CN 115063768 A 2征图， 进行 所述三维环境中的三维目标检测， 包括： 对所述增强图像特征图和所述增强点云特征图依次交替进行特征提取， 基于提取的特 征进行所述三维环境中的三维目标检测。 8.根据权利要求7 所述的方法， 其中， 在所述对所述增强图像特征图和所述增强点云特征图依次交替进行特征提取之前， 所 述方法还包括： 分别基于所述点云特征图和所述增强点云特征图进行三维目标位置预测， 获得对应的第一预测结果和第二预测结果； 根据所述第一预测结果和所述第二预测结果， 获得预设数量个候选预测框， 其中， 所述 候选预测框属于某类目标的概 率大于预设概 率； 所述对所述增强图像特征图和所述增强点云特征图依次交替进行特征提取， 基于提取 的特征进 行所述三 维环境中的三维目标检测， 包括： 基于所述候选预测框的信息， 对所述增 强图像特征图和所述增强点云特征图依次交替进 行特征提取， 基于提取的特征进 行所述三 维环境中的三维目标检测。 9.根据权利要求8所述的方法， 其中， 所述第 一预测结果和所述第 二预测结果分别为第 一预测热图和第二预测热图； 所述第一预测热图和所述第二预测热图中的第k个通道表示 当前位置存在第k类目标的概 率； 所述候选预测框的信息包括所述候选预测框对应的点云特征和所述候选预测框对应 的目标类别向量的信息 。 10.根据权利要求8 或9所述的方法， 其中， 所述对所述增强图像特征图和所述增强点云 特征图依 次交替进行特征提取， 基于提取 的特征进行所述三维环境中的三维目标检测， 包 括： 在针对增强图像特征图进行特征提取时， 获取该增强图像特征图的前一增强点云特征 图对应的点云候选预测框； 将所述点云候选预测框投影到该增强 图像特征图上， 获得对应 的图像候选预测框； 在针对增强点云特征图进行特征提取时， 获取该增强点云特征图的前一增强图像特征 图对应的图像候选预测框， 将所述图像候选预测框转换至该增强点云特征图上， 获得对应 的点云候选预测框 。 11.根据权利要求10所述的方法， 其中， 在针对增强图像特征图进行特征提取之前， 对前一增强点云特征图对应的点云候选预 测框对应的特征进行多头自注意力计算， 以获得各点云候选预测框对应的候选目标之 间的 相对位置关系， 和/或剔除重复点云候选预测框； 或者， 在针对增强点云特征图进行特征提取之前， 对前一增强图像特征图对应的图像候选预 测框对应的特征进行多头自注意力计算， 以获得各图像候选预测框对应的候选目标之 间的 相对位置关系， 和/或剔除重复图像候选预测框 。 12.根据权利要求10所述的方法， 其中， 所述将所述点云候选预测框投影到该增强图像 特征图上， 获得对应的图像候选预测框， 包括： 将所述点云候选预测框放大 预设倍数后投影到该增强图像特 征图上； 获取投影结果在该增强图像特 征图上对应的区域； 对所述区域的特 征进行特征提取， 根据特 征提取结果获得对应的图像候选预测框 。权　利　要　求　书 2/3 页 3 CN 115063768 A 3