(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210838080.2 (22)申请日 2022.07.17 (71)申请人 桂林理工大 学 地址 541004 广西壮 族自治区桂林市七 星 区建干路12号 (72)发明人 周国清　江越　王浩宇　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 激光雷达点云数据城市地物PointEFF精细 分类方法 (57)摘要 本发明公开了一种激光雷达点云数据城市 地物Point EFF精细分类方法， 属于激光雷达点 云 分类领域。 此方法包括： 点 云数据分块； 端对端特 征提取层构建； 外部特征融合层构建； 精度评价。 PointEFF激光雷达点云数据城市地物精细分类 方法通过构建外部特征融合(External  Feature  Fusion)模块， 在模型上采样阶段将点云手工设 计描述符(hand  crafted descriptors)与网络 得到的端对端特征融合， 改善了以PointNet、 PointNet++为代表的领域特征池化方法在上采 样过程中因插值操作造成的点云局部信息损失 问题， 极大地提高了模型在复杂地物分类上， 特 别是提高对粗糙表面地物分类的分类精度， 能够 更好的应用于地物类型复杂的城市地物分类 。 权利要求书2页 说明书6页 附图4页 CN 115222988 A 2022.10.21 CN 115222988 A 1.激光雷达点云数据城市地物PointEFF精细分类方法， 其特征在于： ①通过提取点云 手工设计描述符(hand  crafted descriptors)， 获得更加丰富的点云几何结构信息， 解决 了传统的基于深度学习的领域特征池化方法在提取点云局部特征时没有考虑点与点之间 的结构信息的缺陷 ②在模型上采样阶段构建外部特征融合模块(External  Feature  Fusion)模块， 改善了传统的基于深度学习的领域特征池化方法在上采样过程中因插值操 作造成的点云局部信息损失问题， 极大 的提高了模型在 复杂地物分类上， 特别是对粗糙表 面分类的分类精度； 其特征还在于由点云数据分块、 端对端特 征提取层、 外 部特征融合层组成。 2.根据权利要求1所述的激光雷达点云数据城市地物PointEFF精细分类方法， 其特征 在于， 按如下步骤 对点云数据进行分块： 设点集为R， 其中第一个点为p1＝(x1,y1,z1)∈R， 其余点为pR‑1＝(xR‑1,yR‑1,zR‑1)∈R， pR‑1 到p1的欧式距离为： 根据每个样本点到p1的欧式距离和分块区域的点数m， 划分出p1的领域为{p1,p1…,pm} 后再迭代计算 点集内剩余 点到pm+1点的距离， 直至点 集内所有点被划分完毕。 3.根据权利要求1所述的激光雷达点云数据城市地物PointEFF精细分类方法， 其特征 在于， 按照如下步骤构建端对端特 征提取层： 端对端特征提取层包括网络编码器和解码器两部分； 编码器通过抽象集合操作对一组 点进行处理和抽象， 以递归提取点云局部区域的多尺度特征； 解码器通过特征传播操作操 作逐渐恢复空间维度， 融合编码过程中提取到的特征， 在尽可能减少信息损失的前提下完 成同尺度的输入输出； 二 者通过两组跳跃链接模块 来传递同尺度的特 征； 网络编码器包含三次抽象集合操作， 抽象集合由采样层、 分组层和特征提取层三部分 组成； 首先， 将具有3维属性(x,y,z)的N个激光雷达点输入到我们的网络中， 采样层通过迭 代最远点采样算法(Far thest Point Sampling)选择N ′点来定义局部区域的N ′个质心； 之后在分组层中， 通过球查询算法(query  ball)， 设定半径r， 搜索质心范围r内相邻的 k点构建局部区域； 在执行采样层和分组层之后， 激光雷达点被采样成N ′中心簇， 每个中心 簇包含k个点和它们的36维属性， 输出涉及一组大小为N ′ ×k×36的点集； 最后， 我们通过特 征提取层将这些局部区域编码为特征向量； 将点集输入MLP网络， 输出为N ′ ×k×C， 其中C为 通过MLP提取的特征， 每个中心簇再经过最大池化(max ‑pooling)操作， 选取每个中心簇中 最大的特 征作为区域特 征， 输出为 N′ ×C； 经过三次抽象集 合， 直至输出为1×1024的全局特 征； 网络解码器由三 次特征传播操作和二组跳跃链接模块构 成， 其利用上采样操作 逐渐恢 复空间维度， 融合编码过程中提取到的特征， 在尽可能减少信息损失的前提下完成同尺度 的输入输出； 在特征传播层中， 为了将学习到的特征从采样点传播到原始点， 对于通过编码 器得到的N ″ ×C′维特征图， 首先使用反距离加权算法(Inverse  Distance  Weighted)进行 插值， 计算每个待插值点到所有点的距离， 计算出权重， 将点数从N ″插值到N′， 得到插值后 的N×C维特征图； 再通过跳跃链接模块链接同尺度下编码器得到的C维特征图， 得到N ×(C′ +C)维特征图； 最后通过多层感知器(MLP)， 得到N ×C″ ′维特征图；权　利　要　求　书 1/2 页 2 CN 115222988 A 2在经过三层特 征传播层后， 得到N ×128维特征图。 4.根据权利要求1所述的激光雷达点云数据城市地物PointEFF精细分类方法， 其特征 在于， 按照如下步骤构建外 部特征融合层： 外部特征融合层由手工设计描述符的提取和外部特征融合模块构 成； 本方法选择快速 点特征直方图作为外 部特征融合模块的输入； 利用最小二乘法平面拟合求得点云法线， 根据求得的法向量， 建立两点之间的局部坐 标系： μ＝ ηs ω＝ μ×υ 点法线对之间的差异可以用以下角度表示： α ＝ υ·ηt θ ＝arctan(ω ·ηt, μ·ηt) d＝||pt‑ps||2 然后对这些角度量 化形成点特 征直方图PFH； 快速点特 征直方图的特 征表示为： 在获取快速点云点特征直方图后， 将端对端特征提取层得到的N ×128维特征图和N × 33维快速点特征直方图作为输入传递进外部特征融合模块； 在外部特征融合模块中， 端对 端特征提取层得到特 征为： x∈R128 快速点特 征直方图的特 征为： y∈R33 通过拼接(co ncatenate)操作得到新的特 征图为： z＝[x,y]∈R128+33 拼接操作完毕后， 再通过多层感知机， 得到N ×128维特征图， 即每 个点都有128维特 征； 最后， 输入特征图， 通过一维卷积得到点云类别标签， 激光雷达点云数据城市地物 PointEFF精细分类方法设计完 。权　利　要　求　书 2/2 页 3 CN 115222988 A 3