(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210869098.9 (22)申请日 2022.07.22 (71)申请人 国网山西省电力公司电力科 学研究 院 地址 030001 山西省太原市青年路6号 申请人 山西鸿顺 通科技有限公司 (72)发明人 杨罡　王大伟　胡帆　张娜　 李永祥　张兴忠　 (74)专利代理 机构 太原高欣科创专利代理事务 所(普通合伙) 14109 专利代理师 孟肖阳　冷锦超 (51)Int.Cl. G06V 10/10(2022.01) G06V 10/80(2022.01) G06T 7/80(2017.01)G06T 7/70(2017.01) G06T 7/30(2017.01) G06T 3/60(2006.01) (54)发明名称 基于3D-2D多模态融合的密集真彩点云数据 采集方法及装置 (57)摘要 本发明提供了基于3D ‑2D多模态融合的密集 真彩点云数据采集方法及装置， 属于激光雷达、 三维点云、 三维重建技术领域； 所要解决的技术 问题为： 提供基于3D ‑2D多模态融合的密集真彩 点云数据采集方法的改进； 解决上述技术问题采 用的技术方案为： S1： 初始化系统： 对相机内参、 外参进行标定， 同步电机与雷达的时间， 获取雷 达到探测目标的平均距离； S2： 通过电机驱动雷 达旋转采集点云数据； S3： 利用改进的ICP算法将 获取到的两帧点云进行配准并序列化储存， 并继 续采集点云数据至点云足够密集， S4： 裁剪配准 结果； S5： 结合相机获取到的RGB信息， 将配准裁 剪完成的点云着色； 本发明应用于 激光雷达 。 权利要求书2页 说明书6页 附图3页 CN 115294313 A 2022.11.04 CN 115294313 A 1.基于3D‑2D多模态融合的密集真彩点云数据采集方法， 其特 征在于： 包括如下步骤： S1： 初始化系统： 对相机内参、 外参进行标定， 同步电机与雷达的时间， 获取雷达到探测 目标的平均距离； S2： 通过电机驱动雷达 旋转采集 点云数据； S3： 利用改进的ICP算法将获取到的两帧点云进行配准并序列化储存， 并继续采集点云 数据至点云足够 密集， 其步骤包括： S3.1： 旋转S2获取的一帧点云的角度， 得到预处 理后的当前帧的点云， 记为qi； S3.2： 将下一帧点云旋转获取得到下一帧点云的角度， 得到预处理后的下一帧的点云， 记为pi， 将预处理后的下一帧的点云与S3.1处理后的当前帧的点云重合， 得到粗配准的点 云； S3.3： 利用ICP算法， 精细配准两点云， 并将配准结果存 储； S3.4： 将S3.3配准 的结果覆盖S3.1预处理后的点云， 并进行存储， 重复S2～S3.3， 获取 并匹配其 余的点云； S4： 裁剪配准结果； S5： 结合相机获取到的RGB信息， 将配准裁 剪完成的点云着色。 2.根据权利要求1所述的基于3D ‑2D多模态融合的密集真彩点云数据采集方法， 其特征 在于： 所述 步骤S1具体包括： S1.1： 基于张定友标定法对相机进行标定， 获取到相机内参矩阵； 再将相机与雷达联合 标定， 获取到相机的外参矩阵； S1.2： 将电机与雷达进行时间同步： 系统启动后， 雷达将PPS信号与时间戳信息间隔地 发送给电机， 电机通过两个信息与雷达进行时间同步； S1.3： 通过截取10 °俯仰角范围内的点云获取 雷达到探测目标的平均距离D。 3.根据权利要求2所述的基于3D ‑2D多模态融合的密集真彩点云数据采集方法， 其特征 在于： 所述 步骤S2中电机驱动雷达 旋转采集 点云数据的步骤如下： 定义激光雷达内部扫描时旋转轴为Z轴， 并采用右手直角坐标系； 设激光雷达内部绕Z轴旋转速度为ωz， 则每经过t＝2π/ωz后， 获取一帧的雷达位置和 记录的信息， 序列化储 存； 电机旋转带动雷达 绕x轴旋转的过程中， 将会多次采集雷达帧数据进行旋转叠加， 中心 区域会形成重 叠区域， 若设雷达上 下视场是对称的， 视角为θ(弧度制)； 定义雷达垂直分辨率为P， 设激光雷达的水平分辨率为N， 雷达自转一周可以获取到NP 个点， 那么每一帧获取到的点的数量 为： 4.根据权利要求3所述的基于3D ‑2D多模态融合的密集真彩点云数据采集方法， 其特征 在于： 所述 步骤S3.3中采用的ICP算法的具体步骤如下： S3.3.1： 计算两片点云qi和pi的质心， 得到平 移向量t； S3.3.2： 将pi移动S3.3.1所述平 移向量t， 将其结果和qi分别记作记作X、 Y；权　利　要　求　书 1/2 页 2 CN 115294313 A 2S3.3.3： 设权重矩阵 W是指点云 中每个点被分配到的权重， x1～xn为点云pi中每个点的三维坐标， y1～yn为点云qi中每个点的 三维坐标， 设S＝XWYT， 对S进行奇异值分解， 变换S得到S＝U∑VT， 其中U是正交矩阵， ∑是对 角矩阵， VT是正交矩阵； S3.3.4： 计算得 出旋转矩阵R＝VUT； S3.3.5： 设旋转后的点云为pi'， 原始点云为pi， 由pi'＝Rpi+t， 得到变换后的点云pi'， 读 取待匹配的点云qi， 计算误差 若不满足阈值则重复S3.3.1到 S3.3.4步， 直至误差满足要求。 5.根据权利要求4所述的基于3D ‑2D多模态融合的密集真彩点云数据采集方法， 其特征 在于： 所述 步骤S4中裁 剪的步骤如下： S4.1： 首先读取步骤S1.3中所述平均距离D； 已知雷达上下视角为θ， 所以得出R＝D  tan θ /2， R是最终 获得的匹配后的点云的半径； S4.2： 通过计算原始点云与旋转中心的距离， 将距离大于R的点云剔除， 最终得到裁剪 完成的点云。 6.根据权利要求5所述的基于3D ‑2D多模态融合的密集真彩点云数据采集方法， 其特征 在于： 所述 步骤S5中将配准裁 剪完成的点云着色的步骤如下： S5.1： 由外参矩阵乘内参矩阵， 获得真实世界坐标到像素坐标的转换矩阵t rans； S5.2： 依据点云坐标生成一个颜色列矩阵co lor； S5.3： 将颜色列矩阵转换为颜色面矩阵， 给点云colors属性赋值， 得到包含真彩信息的 密集点云。 7.根据权利要求6所述的基于3D ‑2D多模态融合的密集真彩点云数据采集方法， 其特征 在于： 所述 步骤S5.2的具体步骤如下： S5.2.1： 从点云中按照顺序取一个点， 利用转换矩阵t rans将其 转换到像素坐标； S5.2.2： 匹配相同位置像素点的RGB信息， 若超出图片范围就赋指定值， 若在范围之内 就赋RGB值； 赋值完成后序列化存 储此处的RGB信息； S5.2.3： 重复S5.2.1～S5.2.2， 直到匹配完所有点云。 8.基于3D ‑2D多模态融合的密集真彩点云数据采集装置， 其特征在于： 包括电机、 摄像 头、 雷达、 支撑框架， 所述支撑框架上方固定有电机， 电机上连接有 雷达， 所述支撑框架的下 方设置有摄像头， 所述支撑框架上还固定有控制器， 所述控制器内部安装有如权利要求 1‑7 任一项所述的基于 3D‑2D多模态融合的密集真彩点云数据采集方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 115294313 A 3