(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210816385.3 (22)申请日 2022.07.12 (71)申请人 山东信通电子股份有限公司 地址 255088 山东省淄博市高新区柳毅山 路18号 (72)发明人 吕昌峰　蔡富东　刘焕云　丁健配　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 王彬 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种导线跟踪方法及设备 (57)摘要 本发明公开了一种导线跟踪 方法及设备， 属 于电力技术领域， 用于解决现有的导线跟踪 方法 检测的导线轮廓不准确， 且导线跟踪的跟踪偏差 大的技术问题。 方法包括： 构建并训练导线检测 模型； 通过预设的混合损失函数， 对训练后的导 线检测模型进行优化； 通过优化后的导线检测模 型， 对输电通道视频中的第一帧视频图像进行识 别， 得到第一帧视频图像对应的导线轮廓图像； 根据导线轮廓图像， 在所述第一帧视频图像中， 确定导线观察点集合； 在导线观察点集合中， 剔 除无效的导线观察点， 得到有效观察点集合； 根 据有效观 察点集合， 对输电通道视频中的导线进 行跟踪。 本申请提高了导线跟踪方法的鲁棒 性。 权利要求书3页 说明书7页 附图3页 CN 115272920 A 2022.11.01 CN 115272920 A 1.一种导线跟踪方法， 其特 征在于， 所述方法包括： 构建并训练导线检测模型； 通过预设的混合损失函数， 对训练后的所述 导线检测模型进行优化； 通过优化后的所述导线检测模型， 对输电通道视频中的第一帧视频图像进行识别， 得 到第一帧视频图像对应的导线轮廓图像； 根据所述 导线轮廓图像， 在所述第一帧视频图像中， 确定导线观察 点集合； 在所述导线观察 点集合中， 剔除无效的导线观察 点， 得到有效观察 点集合； 根据所述有效观察 点集合， 对所述输电通道视频中的导线 进行跟踪。 2.根据权利要求1所述的一种导线跟踪方法， 其特征在于， 构建并训练导线检测模型， 具体包括： 构建多层级残差特征提取模块； 其中， 所述多层级残差特征提取模块由多个残差模块 构成， 每个残差模块包括深度分离卷积层、 批归一 化层以及激活层； 构建多感受野特征提取模块； 其中， 所述多感受野特征提取模块包括空洞深度分离卷 积层以及全局池化层； 构建特征融合模块， 将所述多感受野特征提取模块输出的多感受野特征图， 与所述多 层级残差特征提取模块中的第一个残差模块提取的浅层特征图进 行特征融合， 得到特征融 合图像； 其中， 在特征融合前， 将所述浅层特征图上采样至所述多感受野特征图的相同尺 寸； 构建解码预测模块， 对所述特 征融合图像进行解码预测， 得到 输出图像； 将所述多层级残差特征提取模块、 所述多感受野特征提取模块、 所述特征融合模块以 及所述解码预测模块构成所述 导线检测模型； 通过训练数据集， 对所述 导线检测模型进行训练。 3.根据权利要求2所述的一种导线跟踪方法， 其特征在于， 构建多层级残差特征提取模 块， 具体包括： 将第一深度分离卷积层、 批归一化层、 激活层以及第二深度分离卷积层依次相连； 其 中， 所述第一深度分离卷积层用于对输入图像进行深度分离卷积处理， 并将处理结果输入 到批归一化层中进行归一化处理； 所述激活层用于对所述批归一化层的输出特征中的预设 重要特征进行激活， 并对预设不重要特征进行抑制， 所述第二深度分离卷积层用于对激活 层输出的特 征再次进行深度分离卷积处 理； 构建相加层， 将输入图像与所述第二深度分离卷积层的输出 结果相加； 所述第一深度分离卷积层、 所述批归一化层、 所述激活层、 所述第二深度分离卷积层以 及所述相加层， 构成一个残差模块； 将多个所述残差模块相连接， 构成所述多层级残差特 征提取模块。 4.根据权利要求2所述的一种导线跟踪方法， 其特征在于， 构建多感受野特征提取模 块， 具体包括： 分别构建第一空洞深度分离卷积层、 第二空洞深度分离卷积层、 第三空洞深度分离卷 积层、 第四空洞深度分离卷积层以及全局池化层， 以对输入图像进行多感受野特 征提取； 其中， 所述第一空洞深度分离卷积层为1*1空洞深度分离卷积层； 所述第二空洞深度分 离卷积层为空洞率为 1的3*3空洞深度分离卷积层； 所述第三空洞深度分离卷积层为空洞率权　利　要　求　书 1/3 页 2 CN 115272920 A 2为3的3*3空洞深度分离卷积层； 所述第四空洞分离卷积层为空洞率为5的3*3空洞深度分离 卷积层； 构建级联层， 对提取的所述多感受野特 征进行拼接； 构建1*1的卷积块， 对拼接的多感受野特 征进行融合； 所述第一空洞深度分离卷积层、 所述第二空洞深度分离卷积层、 所述第三空洞深度分 离卷积层、 所述第四空洞深度分离卷积层、 所述全局池化层、 所述级联层以及所述1*1的卷 积块， 构成所述多感受野特 征提取模块。 5.根据权利要求1所述的一种导线跟踪方法， 其特征在于， 通过预设的混合损 失函数， 对训练后的所述 导线检测模型进行优化， 具体包括： 根据训练后的所述导线检测模型输出的导线轮廓预测图像的预测准确性， 构建 Focalloss损失函数； 根据所述 导线轮廓预测图像与对应的训练样本的相似度， 构建Dicel oss损失函数； 根据loss＝w1*Focalloss+w2*Diceloss， 得到所述混合损失函数loss； 其中， ω1为所述 Focal loss损失函数的损失平衡因子， ω2为所述Dice  loss损失函数的损失平衡因子； 对训练后的所述掉线检测模型进行参数寻优， 直至所述混合损 失函数收敛， 得到优化 后的导线检测模型。 6.根据权利要求1所述的一种导线跟踪方法， 其特征在于， 根据所述导线轮廓图像， 在 所述第一帧视频图像中， 确定导线观察 点集合， 具体包括： 根据所述导线轮廓图像中的导线特征， 确定所述第 一帧视频图像中导线所在区域的最 小外接矩形； 在所述视频图像的所述 最小外接矩形内绘制等间隔的平行线； 确定所述平行线与 所述视频图像中的导线产生的交点位置坐标， 得到局部导线跟踪点 集合； 在所述最小外接矩形区域中， 通过Shi ‑Tomasi角点检测算法生成候选跟踪点 集合； 将所述局部导线跟踪点 集合与所述 候选跟踪点 集合组合为导线候选观察 点集合； 根据所述导线轮廓图像 中的导线轨迹， 生成导线掩膜， 并根据 所述导线掩膜， 在所述导 线候选观察点集合中筛选出存在于导线轨迹上的点， 得到所述导线观察点集合； 其中， 所述 导线观察 点集合中存储有所有导线观察 点的位置坐标。 7.根据权利要求1所述的一种导线跟踪方法， 其特征在于， 在所述导线观察点集合中， 剔除无效的导线观察 点， 得到有效观察 点集合， 具体包括： 将第一帧视频图像的导线观察点集合中的点作为跟踪点， 并对所述跟踪点进行前向光 流跟踪， 得到第二帧视频图像的预测导线观察 点集合； 将所述第二帧视频图像的预测导线观察点集合中的点作为跟踪点， 并对所述跟踪点进 行反向光 流跟踪， 得到所述第一帧视频图像的预测导线观察 点集合； 计算所述第一帧视频图像的导线观察点集合与预测导线观察点集合中对应点的欧拉 距离； 若所述欧拉距离大于预设阈值， 则确定对应的导线观察 点为无效观察 点， 进行剔除； 将所述第一帧视频图像的导线观察点集合中的无效观察点全部剔除后， 得到所述有效 观察点集合。权　利　要　求　书 2/3 页 3 CN 115272920 A 3