(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210764481.8 (22)申请日 2022.07.01 (65)同一申请的已公布的文献号 申请公布号 CN 114821074 A (43)申请公布日 2022.07.29 (73)专利权人 湖南盛鼎科技发展 有限责任公司 地址 410205 湖南省长 沙市长沙高新开发 区尖山路18号中电软件园二期A8栋1 层101号 (72)发明人 李修庆　赵健康　王怀採　蔡晓程　 谢才望　孔令威　赵丽芝　 (74)专利代理 机构 长沙致为远航知识产权代理 事务所(普通 合伙) 43280 专利代理师 肖周强(51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 向奎 (54)发明名称 机载liDAR点云语义分割方法、 电子设备及 存储介质 (57)摘要 本发明公开一种机载liDAR点云语义分割方 法， 包括将LiDAR点 云和高光谱图像进行融合， 得 到高光谱点云； 每组LiDAR点云数据进行特征提 取， 得到第一特征向量； 每组LiDAR点云数据、 高 光谱点云数据进行编码， 得到每个编码阶段的 LiDAR点云特征向量、 高光谱特征向量； 采用A ‑ MLP层对当前编码阶段的LiDAR点云特征向量和 高光谱特征向量与上一解码阶段的融合特征向 量进行融合后输入到下一个解码阶段， 解码完成 后得到第二特征向量； 将第一特征向量与第二特 征向量进行拼接后再经过全 连接层计算， 得到第 三特征向量， 根据第三特征向量对每个点进行分 割标注， 提高了复杂场景分类准确性。 权利要求书2页 说明书9页 附图4页 CN 114821074 B 2022.10.25 CN 114821074 B 1.一种机载l iDAR点云语义分割方法， 其特 征在于， 包括以下步骤： 将获取的LiDAR点云和高光谱图像进行融合， 得到与所述LiDAR点云对齐的高光谱点 云； 将所述LiDAR点云、 所述高光谱点云均分成F组， 每组LiDAR点云数据 为(N， b)， 每组高光 谱点云数据为(N， q)， 其中N为每组点云数据中的点数量， b为每组LiDAR点云数据中每个点 的特征维度， q为每组高光谱点云数据中每 个点的光谱特 征维度； 采用GAM模型对每组LiDAR点云数据进行特征提取， 得到第一特征向量； 采用GAM模型对 每组LiDAR点云数据进行 特征提取的具体实现过程 为： 对每组LiDAR点云数据中的每个点pi搜索其k个最近邻点， 根据点pi及其k个最近邻点构 建协方差矩阵， 并求 解协方差矩阵的特 征值和特 征向量； 根据协方差矩阵的特征值构造几何特征， 根据点pi及其k个最近邻点的高程值构造高程 特征， 由所述几何特 征和高程特 征构成点pi的特征向量； 采用MLPs层对点pi的特征向量进行高维映射， 然后在特征维度上采用激活函数进行归 一化处理， 得到每 个点pi的深层特 征， 进而得到该组L iDAR点云数据对应的第一特 征向量； 采用PointSIFT网络分别对每组LiDAR点云数据、 每组高光谱点云数据进行编码， 分别 得到每个编码阶段的L iDAR点云特 征向量、 高光谱特 征向量； 在解码过程中， 对当前编码阶段的LiDAR点云特征向量和高光谱特征向量与上一解码 阶段的融合特征向量进行融合后输入到下一个解码阶段解码， 解码完成后得到第二特征向 量； 所述融合的具体实现过程为： 将当前编码阶段的LiDAR点云特征向量和高光谱特征向量 进行拼接， 得到拼接后的特征向量X； 对上一解码阶段的融合特征向量进行上采样， 得到特 征向量Y； 采用CAM模块分别求解出特征向量X、 特征向量Y的权重系数wx、 wy； 对权重系数wx、 wy进行重新分配， 得到分配后的权 重系数wgx、 wgy； 其中重新分配公式为： wgx＝(wx+1‑wy)/2， wgy＝(wy+1‑wx)/2 利用分配后的权重系数wgx、 wgy对拼接后的特征向量X和上采样后的特征向量Y进行融 合， 得到对应的融合特征向量， 具体融合公式为： 其中， Z为融合特征 向 量； 将对应的所述第一特征向量与所述第 二特征向量进行拼接后再经过全连接层计算， 得 到第三特 征向量， 根据所述第三特 征向量对每 个点进行分割标注。 2.如权利 要求1所述的机载liDA R点云语义分割方法， 其特征在于， 将获取的LiDAR点云 和高光谱图像进行融合的具体实现过程 为： 将所述LiDAR点云在高程方向上做正 射投影， 形成正 射投影图像； 将所述正射投影图像与所述高光谱图像进行匹配， 得到坐标变换参数； 根据所述 坐标变换参数对所述高光谱图像进行修 正， 得到修 正后的高光谱图像； 根据所述LiDAR点云的水平坐标寻找修正后的高光谱图像的光谱反射信息， 采用所述 光谱反射信息替代所述LiDAR点云中每个点的激光反射信息， 形成与所述LiDAR点云对齐的 高光谱点云。 3.如权利要求1所述的机载liDAR点云语义分割方法， 其特征在于， 采用PointSIFT网络 对LiDAR点云数据或高光谱点云数据进行编码的具体实现过程 为：权　利　要　求　书 1/2 页 2 CN 114821074 B 2采用全连接层对每组点云数据进行计算， 得到特征向量(N， 32)， 其中每组点云数据为 LiDAR点云数据或高光谱点云数据； 对所述特征向量(N， 32)进行下采样和特征提取， 得到第一个编码阶段的特征向量(N/ 4， 64)； 对所述特征向量(N/4， 64)进行下采样和特征提取， 得到第二个编码阶段的特征向量 (N/16， 128)； 对所述特征向量(N/16， 128)进行下采样和特征提取， 得到第三个编码阶段的特征向量 (N/64， 256)； 对所述特征向量(N/64， 256)进行下采样和特征提取， 得到第四个编码阶段的特征向量 (N/128， 512)。 4.如权利要求3所述的机载liDAR点云语义分割方法， 其特征在于， 所述解码的具体实 现过程为： 将LiDAR点云数据在第四个编码阶段的特征向量(N/128， 512)与高光谱点云数据在第 四个编码阶段的特征向量(N/128， 512)进行拼接后经过MLP层处理， 得到第一融合特征向 量； 将LiDAR点云数据在第三个编码阶段的特征向量(N/64， 256)与高光谱点云数据在第三 个编码阶段的特征向量(N/64， 256)进行拼接， 再采用A ‑MLP层对拼接后的特征向量与对所 述第一融合特征向量进行上采样后的特征向量进 行融合， 得到第一个解码阶段的第二融合 特征向量； 其中， A ‑MLP层包括CAM模块和AF F模块； 将LiDAR点云数据在第二个编码阶段的特征向量(N/16， 128)与高光谱点云数据在第二 个编码阶段的特征向量(N/16， 128)进行拼接， 再采用A ‑MLP层对拼接后的特征向量与对所 述第二融合特征向量进行上采样后的特征向量进 行融合， 得到第二个解码阶段的第三融合 特征向量； 将LiDAR点云数据在第一个编码阶段的特征向量(N/4， 64)与高光谱点云数据在第一个 编码阶段的特征向量(N/4， 64)进行拼接， 再采用A ‑MLP层对拼接后的特征向量与对所述第 三融合特征向量进行上采样后的特征向量进 行融合， 得到第三个解码阶段的第四融合特征 向量， 所述第四融合特 征向量即为第二特 征向量。 5.如权利 要求1所述的机载liDAR点云语义分割方法， 其特征在于， 采用CAM模块求解出 特征向量X或特 征向量Y的权 重系数的具体实现过程 为： 将特征向量X或特征向量Y经过平均池化层处理后得到特征向量(1， C)； 其中特征向量X 或特征向量Y的大小为(N， C)； 所述特征向量(1， C)、 特征向量(N， C)分别依次经过第一卷积层、 第一归一化层、 激活 层、 第二卷积层和第二归一 化层处理后进行相加操作， 得到 权重系数wx或wy。 6.一种电子设备， 其特征在于， 包括存储器和处理器， 所述存储器上存储有能够在所述 处理器上运行的计算机程序， 所述处理器运行所述计算机程序时执行权利要求 1～5中任一 项所述机载l iDAR点云语义分割方法的步骤。 7.一种计算机可读存储介质， 所述计算机可读存储介质为非易失性存储介质或非瞬态 存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器运行时执行权利 要求1～5中任一项所述机载l iDAR点云语义分割方法的步骤。权　利　要　求　书 2/2 页 3 CN 114821074 B 3