(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210871785.4 (22)申请日 2022.07.22 (71)申请人 北京九章星图科技有限公司 地址 100085 北京市海淀区上地十街1号院 6号楼4层408-8 申请人 重庆高新区飞马创新研究院 (72)发明人 黄丹　沈平生　罗华军　禹霁阳　 张顺利　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06T 7/33(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 5/50(2006.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种用于武器站的多源图像配准融合方法、 装置及计算机 (57)摘要 本发明公开了一种用于武器站的多源图像 配准融合方法、 装置及计算机， 该方法包括： 获取 红外与可见光图像； 判断累计帧数是否达到阈 值， 如果小于阈值， 利用基于深度学习的图像特 征提取技术提取可见光与红外图像的特征点， 计 算图像对的变换矩阵参数， 对红外图像进行变 换， 并与可见光图像融合， 计算多源融合图像的 梯度值， 动态判定图像融合质量， 取得图像质量 最好的变换参数， 至此确定图像变换矩阵； 如果 累计帧数大于阈值， 则直接采用确定的变换矩 阵， 完成图像配准与融合； 通过动态评估图像质 量与基于深度学习技术的图像特征提取配准相 结合， 使武器站观瞄系统受到攻击发生一定偏移 时或在复杂的战场环境， 有效实现多源图像融 合， 可精准的捕捉目标。 权利要求书2页 说明书6页 附图4页 CN 115222784 A 2022.10.21 CN 115222784 A 1.一种用于武器站的多源图像 配准融合方法， 其特 征在于， 包括： 基于武器站的观瞄系统获取目标区域的红外图像与可 见光图像； 将所述红外图像和所述可 见光图像的累计帧数与预设阈值比较； 当所述累计帧数小于所述预设阈值 时， 利用基于深度学习的图像特征提取网络模型提 取匹配所述红外图像与所述可见光图像的特征点， 根据所述特征点计算所述红外图像与所 述可见光图像的变换矩阵参数； 根据所述变换矩阵参数对所述红外图像进行变换， 并将变换后的红外图像与 所述可见 光图像进行融合， 生成多源融合图像； 计算所述多源融合图像的梯度值， 动态判定 图像融合质量， 获取所述多源融合图像中 质量最好的变换矩阵参数作为配准 参数， 基于所述配准 参数确定图像 变换矩阵H； 基于所述变换矩阵H， 完成所述红外图像与所述可 见光图像的 的配准融合。 2.如权利要求1所述的一种用于武器站的多源图像配准融合方法， 其特征在于， 该方法 还包括： 当所述累计帧数大于或等于所述预设阈值 时， 直接使用图像梯度值最大时对应的变换 矩阵， 对所述红外图像进行变换； 将变换后的红外图像与所述可 见光图像进行融合， 完成图像的配准融合。 3.如权利要求1所述的一种用于武器站的多源图像配准融合方法， 其特征在于， 所述图 像融合质量 不满足预设条件时， 返回重新获取 所述红外图像与所述可 见光图像。 4.如权利要求1或2所述的一种用于武器站 的多源图像配准融合方法， 其特征在于， 所 述将变换后的红外图像与所述可见光图像进行融合， 所述融合方法采用线性融合， 其计算 式为： ffusion＝α*f0+β*f1+λ， 式中f0表示红外图像， f1表示可见光图像， β＝1 ‑α， λ＝0， α＝ 0.4。 5.如权利要求1所述的一种用于武器站的多源图像配准融合方法， 其特征在于， 所述深 度学习的图像特 征提取网络模型包括： 卷积模块、 位置编码模块和多头注意力机制模块； 所述利用基于深度学习的图像特征提取网络模型提取匹配所述红外图像与所述可见 光图像的特 征点， 具体包括： ①： 所述红外 图像与所述可见光图像经过卷积块完成初步的特征提取， 所述卷积块由 一个卷积层、 一个批归一化层和一个激活层组成； 处理所述可见光图像的卷积块数量为N， 处理所述红外图像的卷积块数量为2 N， 其中， N＝3； 分别在第2个卷积块时输出浅层特征图； 所述卷积层的卷积核大小为3， 步长st ride＝2； ②： 计算位置编码， 其中： 首先， 构建位置数组p＝[0,1,2, …,L]， L＝h*w*c， h为特征图的高， w为特征图的宽， c为 特征图的通道数； 其次， 将数组p进行归一化， 计算式为p＝(p/w)*2 ‑1， 归一化后的位置数组范围为[ ‑1, 1]； 最后， 将所述 位置数组与所述卷积块的输出 特征逐点相加； ③： 计算注意力， 输出张量维度， 其中： 所述多头注意力机制模块中注意力头数量为M， 在计算注意力时M依次取值2， 4， 8， 所述 多头注意力机制模块顺序执行三次； 最终输出张量维度[n,3,fh,fw]； 所述张量维度[n,3,权　利　要　求　书 1/2 页 2 CN 115222784 A 2fh,fw]中fh表示输出特征图高， fw表 示输出特征图宽， 数字3表 示每个网格中对应3个值， 分 别是conf,x,y； conf表示匹配到的特征点的置信度， x表示特征点相对于原始图像尺寸的x 坐标， y表示特 征点相对于原 始图像尺寸的y坐标。 6.一种用于武器站的多源图像配准融合装置， 其特征在于， 使用权利要求1 ‑5任一项所 述的一种用于武器站的多源图像 配准融合方法， 进行多源图像 配准融合。 7.如权利要求6所述的一种用于武器站的多源图像配准融合装置， 其特征在于， 该装置 包括图像采集模块、 图像处 理模块和图像显示模块， 其中： 所述图像采集模块， 用于基于武器站的观瞄系统获取目标区域的红外图像与 可见光图 像； 所述图像处理模块， 用于对所述图像数据进行特征点提取及匹配， 通过特征点计算出 变换矩阵H， 根据所述变换矩阵H完成红外图像与可见光图像配准， 最终根据图像融合算法 完成图像融合； 所述图像显示模块， 用于对融合后的图像进行显示， 供武器站操作人员观察目标。 8.一种用于武器站 的多源图像配准融合计算机， 其特征在于， 包括： 处理器和存储器， 其中： 所述存储器中存储一个或多个计算机程序， 所述处理器执行所述计算机程序， 发出用 于武器站的多源图像 配准融合方法的指令 。权　利　要　求　书 2/2 页 3 CN 115222784 A 3