(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210833737.6 (22)申请日 2022.07.15 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 冯伟　张亚丽　全英汇　李强　 宋怡佳　邹欣杉　王硕　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 王丹 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 基于多级协同的多源遥感图像融合及目标 感知方法及装置 (57)摘要 本发明提供的一种基于多级协同的多源遥 感图像融合及目标感知方法与装置， 通过获取同 一地理位置的原始异源图像； 采用多元融合方法 将原始异源图像进行融合， 之后作为输入图像输 入训练好的目标检测模型， 以进行目标检测， 得 到包含目标感知框的输出图像； 以目标感知框中 心点之间的距离与 目标感知框中心点至边界的 最近距离为约束， 判断是否对目标感知框进行决 策， 进而判断标注的目标是否为可信目标， 在可 见光图像中标注出来。 本发明使用不同的融合算 法对原始异源图像进行处理， 能够增强图像中目 标的特征， 丰富图像中的场景信息； 学习 融合后 图像的空谱特征， 提高目标感知精度； 再对输出 结果进行 投票机制的决策以确定可信目标， 从而 使目标感知精度进一 步提高。 权利要求书2页 说明书7页 附图7页 CN 115393708 A 2022.11.25 CN 115393708 A 1.一种基于多 级协同的多源遥感图像融合及目标感知方法， 其特 征在于， 包括： 步骤1： 获取同一 地理位置的原 始异源图像； 其中， 所述原 始异源图像包括红外图像以及可 见光图像； 步骤2： 采用多元融合方法将所述红外图像以及所述可见光图像进行融合， 获得每种融 合方法融合下的融合图像； 步骤3： 将每种融合方法融合下的融合图像、 所述红外图像以及可见光图像作为输入图 像， 输入训练好的目标检测模型， 以进行特征提取、 特征增强以及目标检测， 得到包含标注 至少一个目标位置的目标感知框的输出图像； 步骤4： 按照目标感知框中心点之间的距离、 目标所在的目标感知框中心点至边界的最 近距离， 判断目标感知框标注的目标 是否为同一目标； 步骤5： 根据同一目标的数量， 确定所有可信目标； 步骤6： 将所有可信目标在可 见光图像中以目标感知框的形式标注出来。 2.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法， 其特征 在于， 所述多元融合方法包括： Closed、 Gram ‑Schmidt、 Guided、 IHS、 MMP、 PCA、 P+XS和 Wavelet融合方法。 3.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法， 其特征 在于， 所述 步骤4包括： 步骤41： 针对 同一目标位置的目标感知框， 计算每个目标感知框的中心点与其他目标 感知框中心点之间的第一距离， 以及目标所在的目标感知框中心点至边界之间的第二距 离； 步骤42： 针对两张特征图， 如果第一距离小于最短的第二距离， 则判定该两张图中目标 感知框中的目标为同一目标。 4.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法， 其特征 在于， 所述 步骤5包括： 步骤51： 统计判定为同一目标的目标 数； 步骤52： 判断目标数是否超过同一目标位置的目标半数， 如果是则确定该目标为可信 目标； 如果 不是， 则移除该目标。 5.根据权利要求1所述的基于多级协同的多源遥感图像融合及目标感知方法， 其特征 在于， 所述目标检测模型包括： YOLO网络模型、 Faster  RCNN网络模型以及S SD网络模型。 6.一种基于多 级协同的多源遥感图像融合及目标感知装置， 其特 征在于， 包括： 获取模块， 被 配置为获取同一 地理位置的原 始异源图像； 其中， 所述原 始异源图像包括红外图像以及可 见光图像； 融合模块， 被配置为采用多元融合方法将所述红外图像以及所述可见光图像进行融 合， 获得每种融合方法融合下的融合图像； 识别模块， 被配置为将每种融合方法融合下的融合图像、 所述红外 图像以及可见光图 像作为输入图像， 输入训练好的目标检测模型， 以进行特征提取、 特征增强以及目标检测， 得到包含标注至少一个目标位置的目标感知框的输出图像； 判断模块， 被配置为按照目标感知框中心点之间的距离、 目标所在的目标感知框中心 点至边界的最近距离， 判断目标感知框标注的目标 是否为同一目标；权　利　要　求　书 1/2 页 2 CN 115393708 A 2确定模块， 被 配置为根据同一目标的数量， 确定所有可信目标； 标注模块， 被 配置为将所有可信目标在可 见光图像中以目标感知框的形式标注出来。 7.根据权利要求6所述的基于多级协同的多源遥感图像融合及目标感知装置， 其特征 在于， 所述多元融合方法包括： Closed、 Gram ‑Schmidt、 Guided、 IHS、 MMP、 PCA、 P+XS和 Wavelet融合方法。 8.根据权利要求6所述的基于多级协同的多源遥感图像融合及目标感知装置， 其特征 在于， 所述判断模块， 被 配置为： 针对同一目标位置的目标感知框， 计算每个目标感知框的中心点与其他目标感知框中 心点之间的第一距离， 以及每 个目标感知框中心点至边界之间的第二距离； 针对两张特征图， 如果第一距离小于最小的第二距离， 则判定该两张图中目标感知框 中的目标为同一目标。 9.根据权利要求6所述的基于多级协同的多源遥感图像融合及目标感知方法， 其特征 在于， 所述确定模块， 被 配置为： 统计判定为同一目标的目标 数； 判断目标数是否超过同一目标位置的目标半数， 如果是则确定该目标为可信目标； 如 果不是， 则移除该目标。 10.根据权利要求6所述的基于多级协同的多源遥感图像融合及目标感知装置， 其特征 在于， 所述目标检测模型包括： YOLO网络模型、 Faster  RCNN网络模型以及S SD网络模型。权　利　要　求　书 2/2 页 3 CN 115393708 A 3