(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210687895.5 (22)申请日 2022.06.17 (71)申请人 北京国泰 星云科技有限公司 地址 100012 北京市朝阳区来广营西路8号 国创产业园6号楼西区5 01室 (72)发明人 王伟　 (51)Int.Cl. G06T 7/80(2017.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/58(2022.01) G01S 17/86(2020.01) G01S 17/93(2020.01) G01S 7/497(2006.01) (54)发明名称 基于三维激光雷达和双目相机融合的轮胎 吊立体防撞方法 (57)摘要 本发明公开了一种基于三维激光雷达和双 目相机融合的轮胎吊立体防撞方法， 包括如下步 骤： 步骤一、 双目相机与三维激光雷达的联合标 定； 步骤二、 基于PSMNet的双目视差 数据获取； 步 骤三、 基于MV 3D‑Net的障碍物 检测与立体防撞判 断。 与现有 技术相比， 本发明的积极效果是： 本发 明有效克服了单一传感器所提供的数据特征单 一的缺点， 将点云数据和视差数据融合， 使得被 检测区域数据更为丰富， 可检测更远和更小的物 体， 具有更好的抗干扰能力， 降低了障碍物的误 检率和漏检率， 提高了RTG防撞功能的适用性和 准确性。 权利要求书2页 说明书6页 附图2页 CN 114972541 A 2022.08.30 CN 114972541 A 1.一种基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 包括 如下步骤： 步骤一、 双目相机与三维激光雷达的联合标定； 步骤二、 基于P SMNet的双目视 差数据获取； 步骤三、 基于 MV3D‑Net的障碍物检测与立体防撞判断。 2.根据权利要求1所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 步骤一所述双目相机与三维激光雷达的联合标定方法包括如下步骤： 第一步、 使用黑 白相间的棋盘格标定板对双目相机进行标定， 获得双目相机的内外参 数； 第二步、 利用双目相机采集标定板图像， 提取二维图像中圆孔的圆心坐标 以 及半径ri(i＝1,2,3……16,17,18)； 第三步、 利用三维激光雷达扫描标定板， 获取圆形点云中心点坐标 和半 径Ri； 第四步、 选取四个圆心作为特征点， 建立三维激光雷达坐标 到二维图像 坐标 的坐标转换约束关系(R,T)。 3.根据权利要求2所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 求取(R,T)的方法为： 随机选取四组相邻的圆心参与计算， 构建优化函数 经过多次求解之后取均值得到最终的(R, T)。 4.根据权利要求1所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： PSMNet模型包含用于全局特征提取的空间金字塔池化结构， 以及用于匹配代 价聚合的沙漏结构。 5.根据权利要求4所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 空间金字塔池化结构通过4个平均池化层将提取到的图像特征压缩到4个尺度 上， 然后使用1 ×1的卷积层来减少特征的维度， 最后将低维度的特征图通过双线性插值的 方法进行 上采样以恢复到原 始图像的尺寸。 6.根据权利要求5所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 4个平均池化层的尺度分别为： 64 ×64， 32×32， 16×16， 8×8。 7.根据权利要求4所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 采用三个堆叠的沙漏结构来计算最终尺寸为H ×W的视差图， 每一个沙漏结构 生成一个视差图， 以此获得三个输出和三个损失， 在训练的过程中， 损失由三个损失加权求 和得到， 在测试的过程中， 将第三个沙漏结构输出的视 差图作为 最终的视 差图。 8.根据权利要求7所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 损失函数按如下公式计算：权　利　要　求　书 1/2 页 2 CN 114972541 A 2式中， N表示Ground  Truth中像素点的数量， d是真实视 差值， 是预测视差值； 其中： (1) (2) 式中， cd表示视差为d时的匹配代价， σ 表示视 差为d的可能性。 9.根据权利要求1所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 步骤三所述基于 MV3D‑Net的障碍物检测与立体防撞判断的方法为： (1)根据实际的激光雷达的安装位置和激光 点云扫描数据的范围确定ROI区域； (2)将激光点云数据和双目视差数据作为基本的数据源， 制作训练样本数据和测试样 本数据； (3)利用训练样本数据对MV3D ‑Net模型进行训练； (4)利用训练好的MV3D ‑Net模型检测ROI区域内是否出现障碍物， 并在出现障碍物时， 根据实时检测出的3D  Box计算其中心到 激光雷达的水平 距离d， 以此作出防撞判断。 10.根据权利要求1所述的基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法， 其特征在于： 训练样本数据为位于ROI区域内， 堆场障碍物检测中常见的遮挡物体数据， 包 括人、 箱子、 包、 梯子 。权　利　要　求　书 2/2 页 3 CN 114972541 A 3