(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210718971.4 (22)申请日 2022.06.23 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 邓宏贵　徐齐国　 (74)专利代理 机构 长沙瀚顿知识产权代理事务 所(普通合伙) 43223 专利代理师 吴亮　朱敏 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/766(2022.01) (54)发明名称 一种无锚视觉目标追踪网络的训练方法和 目标追踪方法 (57)摘要 本发明提供一种无锚视觉目标追踪网络的 训练方法以及基于此网络的目标追踪方法， 该方 法中的无锚视觉目标追踪网络基于无锚设计， 框 架结构简单， 通过特征融合网络提高目标在多层 特征中的联合响应增强网络鉴别跟踪目标和相 似目标的能力， 分类任务中基于欧氏距离的中心 置信度分支来抑制低质量预测框， 网络将特征图 中的每一点映射回原图感受野区域作为预选框， 通过回归预测计算该点与目标框四边距离， 从而 对宽高进行预测， 从而实现更简洁的网络架构和 更高的实时追 踪性能。 权利要求书3页 说明书10页 附图4页 CN 115205331 A 2022.10.18 CN 115205331 A 1.一种无锚视觉目标追踪网络的训练方法， 其特征在于： 所述无锚视觉目标追踪网络 包括： 特征提取主干网络， 特 征融合网络， 多分支预测网络； 所述训练方法包括： 步骤101： 对数据集进行预处理， 所述数据集包括多个原始图像， 每个原始图像对应一 个真实目标框， 所述真实目标框标识出 所述原始图像中追踪目标 所处的矩形位置范围； 所述原始图像经预处理后形成对应的图像对， 所述图像对包括一个模板图像和对应的 一个搜索图像， 其中所述搜索图像的尺寸大于所述模板图像， 所述追踪目标处于所述搜索 图像和所述模板图像中的中心位置； 步骤102： 将所述图像对的模板图像和搜索图像分别输入到所述特征提取主干网络， 得 到输出的所述图像对 对应的图像特 征图； 其中， 所述特征提取主干网络为全卷积网络， 由1个Stem模块， 和4个Stage模块串联组 成， 其中所述Stem模块对输入的所述模板图像和所述搜索图像进 行下采样， 第一个Stage模 块用于对所述Stem模块的输出进行下采样， 后3个Stage模块依次扩充通道数， 网络总 步长 为8； 步骤103： 将所述图像特征图输入到特征融合网络， 得到输出的所述图像对对应的融合 特征图； 步骤104： 将所述融合特征图输入到多分支预测网络， 得到输出的分类得分图Rclc、 中心 置信度得分图Rcen和距离信息图Rreg； 其中， Rreg为4通道， 其任一位置的值Rreg(i， j)为(l， t， r， b)， 代表位置(i， j)映射回所述 原始图像后分别到所述真实目标框左边、 上边、 右边、 下边的预测距离； 步骤105： 计算总损失值 L， 并根据L 来训练所述无锚视 觉目标追踪网络的网络参数； 其中， L＝Lclc+λ1Lcen+λ2Lreg， Lclc为分类损失值， Lcen为中心置信度损失值， Lreg为回归损 失值， λ1和 λ2为预设参数； 其中， 所述中心置信度损失值 Lableclc(i， j)表示任一位置(i， j)的样本归属， 如果(i， j)位置的(l， t， r， b)与所述真 实目标框的偏差在预设范 围内， 则(i， j)位置属于正样本Lab leclc(i， j)＝1， 如果所述偏差 不在所述预设范围内， 则(i， j)位置属于负样本Lableclc(i， j)＝0； Rcen(i， j)为所述中心置 信度得分图在(i， j)位置的值； Ccen(i， j)为位置(i， j)的真实中心度， 代表位置(i， j)映射回所述原始图像后到真实目 标中心的距离归一 化值， 2.根据权利要求1所述的无锚视觉目标追踪网络的训练方法， 其特征在于， 所述特征融 合网络由裁 剪模块和三维最大池化模块组成； 所述裁剪模块对输入的所述特 征图进行裁 剪； 所述图像特征图包括多组对应的模板图像特征图和搜索图像特征图， 所述模板图像特 征图是所述模板图像在所述特征提取主干网络中经一个Stage模块扩展通道数后的输出结 果， 所述搜索图像特征图是所述搜索图像在所述特征提取主干网络中经一个Stage模块扩 展通道数后的输出结果， 相同的Stage模块输出的模板图像特征图与搜索图像特征图一一权　利　要　求　书 1/3 页 2 CN 115205331 A 2对应； 所述三维最大池化模块将经裁剪的所述特征图分别进行三维最大值池化处理， 得到多 组对应的池化模板图像特征图和池化搜索图像特征图， 再对每组池化模板图像特征图和池 化搜索图像特 征图进行相关运 算， 之后将各组进行 联合拼接得到所述融合特 征图。 3.根据权利要求2所述的无锚视觉目标追踪网络的训练方法， 其特征在于， 所述多分支 预测网络包括分类任务网络和回归 任务网络， 均为全卷积网络； 所述分类任务网络根据输入的所述融合特征图生成2通道的所述分类得分图Rclc和1通 道的所述中心置信度得分图Rcen； 所述回归 任务网络根据输入的所述融合特 征图生成所述距离信息图Rreg。 4.根据权利要求3所述的无锚视觉目标追踪网络的训练方法， 其特征在于， 所述步骤 105还包括： 所述分类损失值的计算方法为： Rclc(i， j)为所述分类得分图在(i， j)位置的值； 所述回归损失值的计算方法为： 其中， (xl， yt)为所述真实 目标框左上位置坐标， (xr， yb)为所述真实目标框右下位置坐标， G为根据 [xl， yt， xr， yb]得出的所述真实目标框内像素点集合， P为根据Rreg(i， j)得出的预测目标框 内像素点 集合。 5.一种基于无锚视觉目标追踪网络的目标追踪方法， 其特征在于： 所述无锚视觉目标 追踪网络是根据权利要求1 ‑4所述的无锚视觉目标追踪网络的训练方法训练得到的； 所述 目标追踪方法包括： 步骤201： 在连续视频图像的初始帧图像 中标注追踪目标的初始中心点和初始目标框， 以所述初始中心点位置为中心处理所述初始帧图像， 得到所述模板图像， 以所述初始中心 点位置为中心处 理第二帧图像， 得到所述搜索图像； 步骤202： 将所述模板图像和所述搜索图像输入所述无锚视 觉目标追踪网络； 步骤203： 获得所述无锚视觉目标追踪网络输出的所述分类得分图Rclc、 所述中心置信 度得分图Rcen和所述距离信息图Rreg； 步骤204： 根据所述Rclc和Rcen确定所述搜索图像对应的视频帧中追踪 目标的追踪中心 点， 再根据Rreg确定所述搜索图像对应的视频图像帧中追踪目标框的横向和纵向长度， 从而 确定所述追踪目标框的位置； 步骤205： 以所述初始中心点位置为中心处理所述搜索图像对应的视频帧的下一帧， 得 到的图像作为所述搜索图像， 重复执 行步骤202至步骤20 5。 6.根据权利要求5所述的基于无锚视觉目标追踪 网络的目标追踪方法， 其特征在于， 所 述步骤204包括： 根据Rclc和Rcen计算坐标 其中， λ 为预设参数， s为尺度变化 惩罚参数， w 为余弦窗参数；权　利　要　求　书 2/3 页 3 CN 115205331 A 3