(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210875020.8 (22)申请日 2022.07.25 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 李康顺　黄旭灵　赵雪　王健聪　 陈灿　李绍韬　周威驰　陈伟林　 王文祥　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06T 7/00(2017.01) G01C 21/20(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/13(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 压板状态巡检方法、 系统、 机器人及存储介 质 (57)摘要 本发明公开了一种压板状态巡检方法、 系 统、 机器人及存储介质， 方法包括： 获取作业点区 域的压板图像； 将所述压板图像转换为灰度图， 对灰度图进行处理后得到压板图像轮廓； 判断压 板图像轮廓是否完整， 若轮廓完整， 则满足检测 需求， 图像采集单元的位置无需进行调整； 若轮 廓残缺， 则不满足检测需求， 通过图像采集单元 获取检测物轮廓中心与智能巡检机器人的距离， 并根据轮廓中心点的空间位置信息调整图像采 集单元的位置， 使得调整后得到的压板图像轮廓 完整； 构建压板状态检测模型并进行训练； 将待 检测的保护压板图像传输到训练好的压板状态 检测模型中， 得到待检测压板图像的目标标签信 息与标签预测概率信息。 本发明极大提高检测精 度及检测效率。 权利要求书3页 说明书10页 附图4页 CN 115393278 A 2022.11.25 CN 115393278 A 1.压板状态巡检方法， 其特 征在于， 所述方法在智能巡检机器人 上执行， 包括： 利用智能巡检机器人 上设置的图像采集单 元获取作业 点区域的压 板图像； 将所述压 板图像转换为灰度图， 对灰度图进行处 理后得到 压板图像轮廓； 判断压板图像轮廓是否完整， 若轮廓完整， 则满足检测需求， 图像采集单元的位置无需 进行调整； 若轮廓残缺， 则不满足检测需求， 通过图像采集单元获取检测物轮廓中心与智能 巡检机器人 的距离， 并根据轮廓中心点的空间位置信息调整图像采集单元 的位置， 使得调 整后得到的压 板图像轮廓完整； 构建压板状态检测模型， 对进行训练得到训练好的压板状态检测模型， 所述压板状态 检测模型包括输入层Input、 主干网络Backb one、 颈部结构Neck和输出层Output； 所述输入 层Input是对所输入的压板图像进行预处理； 所述主干网络Backbone用于特征映射图以及 将特征映射图输出至颈部结构Neck中； 所述颈部结构Neck使用特征金字塔网络FPN和金字 塔自注意力网络PAN的结构， FPN结构自顶向下将高层的特征信息通过上采样的方式进 行传 递融合， 使得底层特征图包含更强的保护压板语义信息， PAN结构自底向上进行下采样， 使 顶层特征包含强保护压板位置信息， 最后将顶层特征和底层特征进行融合， 使不同尺寸的 特征图都包含强保护压板语义信息和强保护压板特征信息； 所述输出层Outp ut将颈部结构 Neck中各分支结果分别通过 卷积处理， 生成边界框和预测目标的类别； 将待检测的保护压板图像传输到训练好的压板状态检测模型中， 得到待检测压板图像 的目标标签信息与标签预测概率信息， 将所述目标标签信息与标签预测概率信息存储到数 据库。 2.根据权利要求1所述的压板状态巡检方法， 其特征在于， 在利用智能巡检机器人上设 置的图像采集单 元获取作业 点区域的压 板图像的步骤之前， 还 包括下述 步骤： 通过SLAM算法对变电站工作环境构建工作地图， 并在所述工作地图上设置智能巡检机 器人的作业 点， 通过智能巡检机器人的导 航单元到达指定作业 点。 3.根据权利要求1所述的压板状态巡检方法， 其特征在于， 所述根据轮廓中心点的空间 位置信息调整图像采集单 元的位置， 使得调整后得到的压 板图像轮廓完整， 具体为： 将目标轮廓中心点的X、 Y、 Z通过转换计算得到巡检机器人的微调偏移量和伸缩杆的伸 缩量并将偏移量与伸缩量传输给控制模块， 控制模块通过对机器人发布指 令使巡检机器人 对拍摄点进行微调。 4.根据权利 要求1所述的压板状态巡检方法， 其特征在于， 所述主干网络Backbone通过 CBS模块、 CSP1_X模块以及快速空间金字塔池化SPPF模块形成特征映射图， 以及将特征映射 图输出至 颈部结构Neck中， 具体实现如下： CBS模块由卷积层Conv、 具有加快训练收敛的特征的归一化网络层BN和激活函数SiLu 组成； 所述CSP1_X模块中， 输入至CSP1_X模块的输入数据依次经过1个CBS模块、 X个Res  unit 模块、 Conv处理后和经 过Conv处理后的输入数据进行张量 拼接， 扩充为两个张量的维度； 所述SPPF模块中， 输入至SPPF模块的数据经过CBS模块处理后的依次经过三个MaxPool 层处理后将每次经过MaxPool处理后的数据与经过CSB模块处理后的数据进行Concat操作 后经过CBS模块处 理后输出。 5.根据权利要求4所述的压板状态巡检方法， 其特征在于， 所述CBS模块的参数表示为权　利　要　求　书 1/3 页 2 CN 115393278 A 2(c_in， c_out， kernel_siz e， stride)， 其中， c_in表示输入 通道的大小， c_out表示输 出通道 的大小， kernel_size表示卷积核大小， st ride表示 步长； 所述CSP1_X模块的参数表示 为(c_in， c_out) ×该模块堆叠的次数； 所述SPPF模块的参数表示 为(c_in， c_out， kernel_size)。 6.根据权利要求4所述的压板状态巡检方法， 其特征在于， 压板状态检测模型的损失函 数Loss由分类损失函数Lcls、 边界框回归损失函数Lbox和置信度损失函数Lobj组成， 所述Loss 的公式表达如下： Loss＝Lbox+Lcls+Lobj 将分类损失函数Lcls替换为Focal  Loss， 设p 是压板状态检测模型预测的概率， y是某一 类别的标签， y＝1为 正样本， y＝0为负 样本， Focal  Loss的具体形式Lfl如下述公式所示： Lfl＝‑αt(1‑pt)τlog(pt) 其中， pt反应了分类的难易程度， pt越大， 说明分类的置信度越高， 代表样本越易分； pt 越小， 分类的置信度越低， 代表样本越难分； αt是一个超参数， 用来平衡正负样本的权重， τ 参数是用来区分简单/困难样本的。 7.根据权利要求1所述的压板状态巡检方法， 其特征在于， 所述输出层Output包括 Conv2d和sigmoid激活函数， na为每个检测头上的预测框的数量， nc为预测的类的数量即保 护压板的是3种状态， 3种状态分别为闭合、 断开、 空 闲。 8.压板状态巡检系统， 其特征在于， 位于智能巡检机器人上， 包括图像采集模块、 轮廓 处理模块、 轮廓识别模块、 模型构建模块以及巡检模块； 所述图像采集模块， 用于利用智能巡检机器人上设置的图像采集单元获取作业点区域 的压板图像； 所述轮廓处理模块， 用于将所述压板 图像转换为灰度图， 对灰度图进行处理后得到压 板图像轮廓； 所述轮廓识别模块， 用于判断压板图像轮廓是否完整， 若轮廓完整， 则满足检测需求， 图像采集单元的位置无需进 行调整； 若轮廓残缺， 则不满足检测需求， 通过图像采集单元获 取检测物轮廓中心与智能巡检机器人的距离， 并根据轮廓中心 点的空间位置信息调整图像 采集单元的位置， 使得调整后得到的压 板图像轮廓完整； 所述模型构建模块， 用于构建压板状态检测模型， 对进行训练得到训练好的压板状态 检测模型， 所述压板状态检测模型包括输入层Input、 主干网络Backbone、 颈部结构Neck和 输出层Output； 所述输入层Input是对所输入的压板图像进行预处理； 所述主干网络 Backbone用于特征映射图以及将特征映射图输出至颈部结构Neck中； 所述颈部结构Neck使 用特征金字塔网络FPN和金字塔自注意力网络PAN的结构， FPN结构自顶向下将高层的特征 信息通过上采样的方式进 行传递融合， 使 得底层特征图包含 更强的保护压板语义信息， PA N 结构自底向上进行下采样， 使顶层特征包含强保护压板位置信息， 最后将顶层特征和底层 特征进行融合， 使不同尺寸的特征图都包含强保护压板语义信息和强保护压板特征信息； 所述输出层Outp ut将颈部结构Neck中各分支结果分别通过卷积处理， 生 成边界框和预测目 标的类别； 所述巡检模块， 用于将待检测的保护压板 图像传输到训练好的压板状态检测模型中， 得到待检测压板图像的目标标签信息与标签预测概率信息， 将所述目标标签信息与标签预权　利　要　求　书 2/3 页 3 CN 115393278 A 3