(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210871982.6 (22)申请日 2022.07.19 (71)申请人 安徽大学 地址 230039 安徽省合肥市蜀山区肥西路3 号 (72)发明人 李成龙　程致远　鹿安东　张彰　 王亮　李尚泽　 (74)专利代理 机构 合肥市浩智运专利代理事务 所(普通合伙) 34124 专利代理师 闫客 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于多策略融合树的可见光红外视觉跟踪 方法 (57)摘要 本发明公开一种基于多策略融合树的可见 光红外视觉跟踪方法， 所述方法包括： 获取可见 光图像样 本和热红外图像样本； 将可见光图像样 本和热红外图像样本输入至预先训练好的目标 跟踪网络模 型， 目标跟踪网络模 型包括可见光模 态适配器、 热红外模态适配器、 融合树网络和实 例适配器， 各模态对应的适配器包括多个网络层 级； 融合树网络当前层级的输出特征与各模态对 应的适配器当前层级的输出特征进行矩 阵相加 融合后传入各模态对应的适配器的下一层级网 络中； 将各模态对应的适配器最后一层级输出的 模态特征图拼接后输入实例适配器， 预测目标跟 踪结果。 本发 明引入特殊的多策略融合树结构来 实现多种不同融合策略的结合， 以在复杂场景中 获得稳健融合结果。 权利要求书2页 说明书10页 附图4页 CN 115018884 A 2022.09.06 CN 115018884 A 1.一种基于多策略融合 树的可见光红外 视觉跟踪方法， 其特 征在于， 所述方法包括： 获取可见光图像样本和热红外图像样本； 将所述可见光图像样本和所述热红外图像样本输入至预先训练好的目标跟踪网络模 型， 其中， 所述目标跟踪网络模型包括可见光模态适配器、 热红外模态适配器、 融合树网络 和实例适配器， 所述可见光模态适配器、 所述热红外模态适配器和所述融合树网络均包括 多个网络层级； 将所述可见光图像样本作为所述可见光模态适配器和所述融合树网络的输入， 所述融 合树网络当前层级的输出特征与所述可见光模态适配器当前层级的输出特征进行矩阵相 加融合后传入所述可 见光模态适配 器的下一层级网络中； 将所述热红外图像作为所述热红外适配器和所述融合树网络的输入， 所述融合树网络 当前层级的输出特征与所述热红外模态适配器当前层级的输出特征进行矩阵相加融合后 传入所述热红外模态适配 器的下一层级网络中； 将所述可见光模态适配器最后一层级输出的模态特征图与所述热红外模态适配器最 后一层级输出的模态特 征图进行拼接， 得到拼接特 征图； 将所述拼接特征图输入所述实例适配 器， 预测目标跟踪结果。 2.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 所 述可见光模态适配器和所述热 红外模态适配器均包括n个层级的适配网络， 其中， 上一层级 的适配网络的输出作为下一层级的适配网络的输入； 所述可见光模态适配器中最后一层级的适配网络的输出与所述热红外模态适配器最 后一层级的适配网络的输出 经拼接后作为所述实例适配 器的输入。 3.如权利要求2所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 前 (n‑1)个所述适配网络包括依次连接卷积函数、 最大池化函数、 局部 响应归一化函数以及激 活函数； 最后一层级的适配网络包括依次连接的卷积函数和激活函数， n≥2且为整数。 4.如权利要求2所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 所 述融合树网络包括n个层 级的分支网络， 其中， 所述可见光图像样本和所述热 红外图像样本 均作为第一个层级的分支网络的输入， 第一个层级的分支网络的输出作为第二层级的分支 网络的输入； 剩余层级的分支网络中， 上一层级的分支网络的输出与下一层级的分支网络 的输入之间连接有聚合模块； 所述融合树网络中当前层级的分支网络的输出特征与所述可见光模态适配器中当前 层级的适配网络的输出特征经矩阵相加操作后作为所述可见光模态适配器中下一层级的 适配网络的输入； 所述融合树网络中当前层级的分支网络的输出特征与所述热红外模态适配器中当前 层级的适配网络的输出特征经矩阵相加操作后作为所述热红外模态适配器中下一层级的 适配网络的输入。 5.如权利要求4所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 第 n个层级的所述分支网络包括3(n‑1)个分支， 第 一个层级所述分支网络中的一个分支的起点 连接一通用适配器， 分支上设置有通道注意力模块作为叶子节 点， 第(n‑1)个层级所述分支 网络中每三个分支的起点连接一通用适配器， 通道注意力模块、 空间注意力模块和 位置注 意力模块分别设置 于三个分支作为叶子节点；权　利　要　求　书 1/2 页 2 CN 115018884 A 2上一层级所述分支网络中的分支的终点连接下一层级所述分支网络中的通用适配 器。 6.如权利要求5所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 所 述通用适配器采用模态共享卷积函数， 用于提取所述可见光图像样本和所述热 红外图像样 本的共有特 征。 7.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 所 述实例适配器包括带有神经远随机激活的第一全连接层、 第二全连接层和一个带有 softmax层的第三连接层； 第一全连接层和第二全连接层均接有激活函数， 第一全连接层、 第二全连接层和第三 连接层依次连接 。 8.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 所 述聚合模块包括依次连接的卷积函数和 局部响应归一 化函数。 9.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 所 述目标跟踪网络模型的预训练过程包括： 使用ImageNet数据集进行分类 网络VGG‑M的预训练， 并加载前三层 卷积层的原有参数， 作为所述可 见光模态适配 器和所述热红外模态适配 器的初始化 参数； 基于标定好目标的正负样本数据集， 使用随机梯度 下降法对所述可见光模态适配器和 所述热红外模态适配器进 行训练， 得到所述可见光模态适配器和所述热红外模态适配器的 第一模型参数； 将所述初始化参数和所述第 一模型参数加载至所述融合树网络， 并使用随机梯度 下降 法对所述融合 树网络进行训练， 得到所述融合 树网络的第二模型参数 加载所述第 一模型参数和第 二模型参数， 并使用随机梯度 下降法对所述目标跟踪网络 模型进行训练， 得到训练好的所述目标跟踪网络模型。 10.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法， 其特征在于， 所述方法还 包括： 在目标跟踪过程中， 每十帧对所述目标跟踪网络模型进行一次长期更新； 在基于所述目标跟踪结果， 确定目标跟踪失败时， 对所述目标跟踪网络模型进行一次 短期更新。权　利　要　求　书 2/2 页 3 CN 115018884 A 3