(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210716751.8 (22)申请日 2022.06.23 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 申请人 华南理工大 学珠海现代产业创新研 究院 (72)发明人 田联房　林煜　杜启亮　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 冯炳辉 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于旋转RetinaNet的复合绝缘子过热缺陷 检测方法 (57)摘要 本发明公开了一种基于旋转RetinaNet的复 合绝缘子过热缺陷检测方法， 包括： 1)标注图片 中的复合绝缘子， 构建数据集； 2)搭建并训练旋 转RetinaNet网络； 3)利用工具提取 图片温度信 息， 转化为温度矩阵； 4)利用RetinaNet网络检测 图片， 得到复合绝缘子的外接旋转矩形框位置， 计算中轴线方程； 5)自动修正偏移 的中轴线； 6) 提取中轴线上各像素点温度值； 7)对不同情况分 别按照相应规定计算复合绝缘子上对比温度T1 和最高温度T2； 8)根据T2 ‑T1与多个过热等级阈 值进行对比判断复合绝缘子过热缺陷等级， 输出 判断结果。 本发 明可以提高对复合绝缘子存在各 种倾斜角度、 背景复杂等情况的检测准确率。 提 高复合绝缘子过热缺陷检测的精度和速度。 权利要求书4页 说明书9页 附图3页 CN 115115590 A 2022.09.27 CN 115115590 A 1.基于旋转Reti naNet的复合 绝缘子过热缺陷检测方法， 其特 征在于， 包括以下步骤： 1)选取无人机航拍图片中典型的复合绝缘子红外温度图片； 利用标注工具初步标注图 片中的复合绝缘子四个边缘顶点构成的四边形； 计算四边形的最小外接旋转矩形的四个顶 点坐标， 从而将标注的标签文件和图片转 化为DOTA格式的数据集； 2)将标注好的数据集送入旋转RetinaNet网络进行训练， 该旋转RetinaNet网络以 RetinaNet网络为基础结构， 特征融合部分新增加自底向上的特征金字塔PA Net与自顶向下 的特征金字塔FPN形成双向特征融合网络， 提高对不同尺寸复合绝缘子的检测能力； 修改回 归子网络， 回归参数增加矩形框旋转角度θ分量， 修改回归损失函数为balanced  L1损失函 数， 权衡训练集 Loss和验证集mAP， 保存最佳网络参数； 3)获取红外图片中各点温度， 利用工具从图片中高速读取温度信息， 对其进行解码， 转 化为数据流， 进而高速并行转化为矩阵； 对像素点温度信息I进行等间距采样， 与对应点实 际温度值T组成多组(I， T)数据； 对I与T的关系进行拟合； 利用拟合得到的公式进行矩阵运 算， 从而得到每张图片中各像素点实际温度值； 4)利用训练好的旋转RetinaNet网络检测复合绝缘子红外温度图片， 预测得到图片中 与复合绝缘子外接的旋转矩形框的五个参数， 利用公式将其由五参数表示法转化为四顶点 表示法， 得到复合绝缘子所在位置； 提取复合绝缘子的旋转矩形框的中轴线作为复合绝缘 子芯棒的检测线； 5)对提取的中轴线进行自动修正； 判断中轴线是否偏移复合绝缘子芯棒， 若其偏移芯 棒， 则在特定范围内自动搜寻 最佳中轴线方程， 使其更好 地拟合芯棒 位置； 6)读取修正后的中轴线上各个像素点的温度值和位置坐标； 将其按照纵坐标大小排 序， 纵坐标 大的像素点更靠 近图片中 高压端均压环； 7)对于图片中复合绝缘子未完全露出全长的情况， 统计两片复合绝缘子片之间的距离 d； 计算中轴线上靠近高压端均压环的3d ‑5d范围内的各个像素点温度平均值作为对比温 度， 计算中轴线上靠 近高压端均压环的0 ‑5d范围内各像素点的最高温度； 对于图片中复合绝缘子完全露出全长的情况， 计算中轴 线上靠近高压端均压环的三分 之一中轴线全长范围内的各个像素点温度 平均值作为对比温度， 计算该范围内各像素点的 最高温度； 8)利用最高温度与对比温度的差值是否大于各个过热缺陷等级的阈值， 判断复合绝缘 子存在的过 热缺陷等级， 输出最终的过 热缺陷检测结果。 2.根据权利 要求1所述的基于旋转RetinaNet的复合绝缘子过热缺陷检测方法， 其特征 在于， 在步骤1)中， 利用labelme标注工具初步标注复合绝缘子四个边缘顶 点构成的四边形 后， 求取四边形的最小外接旋转矩形的四个顶点坐标， 并将其与物体类别一同写入txt文 件， 转化为DOTA格式。 3.根据权利 要求1所述的基于旋转RetinaNet的复合绝缘子过热缺陷检测方法， 其特征 在于， 在步骤2)中， 搭建和训练旋转Reti naNet网络， 包括以下步骤： 旋转RetinaNet网络以RetinaNet网络结构为基础， 其骨干提取网络采用Resnet ‑50； 其 特征融合部分， 在原有的自顶向下特征金字塔FPN基础上增加了自底向上特征金字塔 PANet， 形成双向特征融合网络， 进一步增强网络检测多尺度物体的能力， 提高网络对于无 人机拍摄距离不同而导致的图片中复合绝缘子尺度不一情况的检测鲁棒性； 修改其回归子权　利　要　求　书 1/4 页 2 CN 115115590 A 2网络， 新增加回归参数θ， 共需要回归(x， y， w， h， θ )五个参数， x代表旋转矩形框的中心点横 坐标， y代表旋转矩形框的中心点纵坐标， w代表旋转矩形框的宽， h代表旋转矩形框的高， θ 代表旋转矩形框相对于水平 矩形框的旋转角度； 旋转矩形框的旋转角度θ表示方法采用长边定义法， 即由旋转矩形框的长边与水平横 轴的夹角定义旋转矩形框的旋转角度， 角度范围为[ ‑π/2， π/2)； 以逆 时针方向为负旋转角 度， 以顺时针方向为 正旋转角度； 训练时利用下式将上述五参数表示 法(x， y， w， h， θ )转化为四顶点表示法(P1， P2， P3， P4)， 从而计算预测框与真实框之间的I oU； 式中， Pj， j＝1～4表示旋转矩形框的四个顶点坐标P1～P4； ФPj， j＝1～4表示角度计算 系数ФP1～ФP4， 其公式如下： 回归时， 利用下式计算真实框GroundTruth与锚框anchor的角度偏移量tθ、 预测框与锚 框anchor的角度偏移量t'θ， 通过使tθ不断逼近t'θ， 从而使预测框的旋转角度不断逼近真实 框的旋转角度： 式中， θ、 θa、 θ'分别表示真实框、 anc hor、 预测框的旋转角度； 网络训练时为了提高检测精度， 修改回归损失函数为如下式所示的balanced  L1损失 函数： 式中， Lb(u)为balance d L1损失， u为自变量， e、 q、 γ为设定的常量参数， 其需要满足如 下约束关系： e ln(q+1)＝γ                 (5)。 4.根据权利 要求1所述的基于旋转RetinaNet的复合绝缘子过热缺陷检测方法， 其特征 在于， 在步骤3)中， 提取红外温度图片的各像素点对应的温度值， 包括以下步骤： 利用PyExifTool高速提取图片中的温度信息， 对其进行base64解码， 并转化byte数据 流， 进而转化为温度信息矩阵； 对温度信 息矩阵中各像素点温度信 息进行等间距采样， 每张图片采集像素点的温度信 息I， 同时采集对应点的实际温度值T， 组成多组(I， T)数据；权　利　要　求　书 2/4 页 3 CN 115115590 A 3