(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210711029.5 (22)申请日 2022.06.22 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 郭健　孙瑜　蔡云飞　徐胜元　 李晨星　陈祥龙　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 段宇轩 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/00(2022.01) G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/62(2022.01)G06V 10/25(2022.01) G06V 10/20(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) (54)发明名称 一种果树田垄的识别方法及电子设备 (57)摘要 本发明公开了一种果树田垄的识别方法及 电子设备， 该方法包括： 获取相机拍摄的视频序 列； 通过基于时间空间视觉注 意机制以及全卷积 神经网络的语义标签模型， 在线生成果树、 田垄 感兴趣目标的语义标签； 基于卷积神经网络的果 树、 田垄深度语义感知模型进行融合语义感知； 提取果树、 田垄特征值， 通过分类器识别出果树 和田垄区域； 通过对视频帧进行光流估计， 基于 条件随机场模 型与运动光流的果树、 田垄感兴趣 目标进行在线轮廓推理和目标边界框再定位； 基 于核相关滤波算法进行感兴趣目标的跟踪， 更新 果树、 田垄深度语义感知模型。 该方法在设备正 常运行时， 能够10 0％识别果 树和田垄区域。 权利要求书2页 说明书5页 附图3页 CN 115063724 A 2022.09.16 CN 115063724 A 1.一种果 树田垄的识别方法， 其特 征在于， 包括 步骤： 获取相机拍摄的视频序列； 通过基于时间空间视觉注意机制以及全卷积神经网络的语义标签模型， 在线生成果 树、 田垄感兴趣目标的语义标签； 基于卷积神经网络的果 树、 田垄深度语义感知模型进行融合语义感知； 提取果树、 田垄特 征值， 通过分类 器识别出果 树和田垄区域； 通过对视频帧进行光流估计， 基于条件随机场模型与运动光流的果树、 田垄感兴趣目 标进行在线轮廓推理和目标边界框再定位； 基于核相关滤波算法进行感兴趣目标的跟踪， 更新 果树、 田垄深度语义感知模型。 2.根据权利要求1所述的果树田垄的识别方法， 其特征在于， 所获取相机拍摄的视频序 列具体包括： 步骤1.1： 将搭 载相机的移动机器人在果园中行 走以拍摄果 树以及田垄信息； 步骤1.2： 获取拍摄得到感兴趣目标信息 输出的视频序列。 3.根据权利要求1所述的果树田垄的识别方法， 其特征在于， 所述语义标签模型通过离 线训练获取， 具体包括： 步骤2.1： 基于包含果树、 田垄两类语义标签的图像数据集， 分别离线训练全卷积神经 网络； 步骤2.2： 将门控循环单元连接在全卷积神经网络之后， 将GRU改进为卷积GRU层， 分别 得到图像中果 树、 田垄感兴趣目标的语义标签模型； 步骤2.3： 语义标签模型的语义分割过程中引入时间和空间的选择注意机制， 采集视频 序列相邻的两帧图像， 通过语义标签模型在线生成对应的语义标签。 4.根据权利要求3所述的果树田垄的识别方法， 其特征在于， 所述图像数据集的获取方 法为： 获取视频序列后， 多视频序列进行逐帧检测， 并将 获取的每一帧图像进行灰度转换， 建 立数字灰度图像数 学模型， 得到增强灰度值后的图像； 对增强灰度值后的图像进行两次滤波以及降噪处 理； 逐帧检测图像， 当检测到图像 中突然出现果树或田垄时， 就将该帧图像更新为初始帧， 图像中出现的果 树或田垄就是感兴趣目标， 锁定该感兴趣目标区域； 获取多组包 含感兴趣目标的图像， 作为图像数据集。 5.根据权利要求1所述的果树田垄的识别方法， 其特征在于， 所述深度语义感知模型通 过离线训练获取， 包括： 获取第i帧视频序列图像； 获取基于高斯扰动模型的目标跟踪置信图； 对生成的果树、 田垄感兴趣目标的语义标签进行语义选择和基于核化相关滤波器语义 滤波， 得到感兴趣目标的语义密集置信图； 将目标跟踪置信图和语义密集置信图作为深度感知网络的输入， 对深度感知网络进行 离线训练生成深度感知网络的参数； 采用多尺度的循环卷积网络， 在多层面深度融合时空特征， 采用门控循环网络作为循 环单元， 确定深度语义感知模型。权　利　要　求　书 1/2 页 2 CN 115063724 A 26.根据权利要求1所述的果树田垄的识别方法， 其特征在于， 所述提取果树、 田垄特征 值， 通过分类 器识别出果 树和田垄区域具体包括： 步骤4.1： 获取包 含果树、 田垄的图像； 步骤4.2： 对果 树、 田垄的图像通过降噪网络进行降噪处 理； 步骤4.3： 通过深度残差收缩网络进行特征值的提取， 深度残差收缩网络的全连接输出 层为分类 器， 进行果 树、 田垄分类识别。 7.根据权利要求1所述的果树田垄的识别方法， 其特征在于， 所述基于条件随机场模型 与运动光 流的果树、 田垄感兴趣目标进行在线轮廓推理和目标边界框再定位具体包括： 步骤5.1： 获取视频某帧中的彩色图像， 并经过像素增强处理得到图像像素强度和特征 图； 步骤5.2： 基于深度语义感知模型， 获取视频某帧中感兴趣目标的语义感知置信图； 步骤5.3： 基于 视频帧得到感兴趣目标的视频帧间光 流运动估计图； 步骤5.4： 基于线下构建的随机条件场模型， 将图像像素强度和特征图、 语义感知置信 图和光流运动估计图作为条件随机场模型非子模目标轮廓推理的输入， 得到目标轮廓， 在 进行目标边界框 定位。 8.根据权利要求5所述的果树田垄的识别方法， 其特征在于， 所述基于核相关滤波算法 进行感兴趣目标的跟踪， 更新 果树、 田垄深度语义感知模型 具体包括： 步骤6.1： 基于感兴趣目标的轮廓推理和目标边界框的定位， 更新感兴趣目标的高斯扰 动模型； 步骤6.2： 获取基于核化相关滤波器高斯扰动的目标跟踪置信图， 更新果树、 田垄深度 语义感知模型。 9.根据权利要求1所述的果树田垄的识别方法， 其特征在于， 所述全卷积神经网络采用 AlexNet、 VG G或GoogleNet网络架构。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑9中任一所述的果树田 垄的识别方法。权　利　要　求　书 2/2 页 3 CN 115063724 A 3