(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692899.2 (22)申请日 2022.06.17 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区八一路 299号 (72)发明人 韩镇　温佳兴　李雅双　胡辉　 王中元　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 严彦 (51)Int.Cl. G06T 3/40(2006.01) G06T 3/00(2006.01) G06V 40/16(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于域迁移融合网络的多摄像头人脸超分 辨率方法及系统 (57)摘要 本发明提供一种基于域迁移融合网络的多 摄像头人脸超分辨率方法及系统， 将原始真实监 控数据集中的人脸图像进行预处理， 构建身份对 齐图像数据集； 构建多摄像头人脸融合超分辨率 网络， 包括特征配准模块、 特征融合模块和权重 调节模块； 构建基于域迁移融合网络的多摄像头 人脸超分辨率网络， 利用域迁移架构进行无监督 训练； 利用训练后的网络模型， 输入两张不同模 态的低分辨率人脸图像， 重建高清人脸。 本发明 利用多摄像头人脸之间的互补性， 既增强了人脸 图像主观视觉效果， 又保留了人脸输入的身份信 息； 采用伪孪生结构， 充分利用了不同模态摄像 头间的信息互补性； 采用域迁移架构以适应真实 场景， 使得超分辨 率重建人脸图像质量更佳。 权利要求书3页 说明书9页 附图2页 CN 115131205 A 2022.09.30 CN 115131205 A 1.一种基于域迁移融合网络的多摄 像头人脸超分辨 率方法， 包括以下步骤： 步骤1， 构建数据集， 包括将原始真实监控数据集中的人脸图像进行预处理， 构建训练 域迁移融合网络所需的低质量人脸 ‑高质量身份信息的身份对齐图像数据集； 步骤2， 构建多摄像头人脸融合超分辨率网络， 所述多摄像头人脸融合超分辨率网络包 括特征配准模块、 特征融合模块和权重调节模块， 首先在特征配准模块根据预超分图像获 取对应的五官位置掩膜并进行五官特征配准得到配准后的图像； 其次， 利用权重调节模块 在两个配准特征间获取可信权重信息； 最后根据进行特征配准后的人脸和可信权重， 通过 特征融合模块进行自适应融合， 获得最终输出 人脸； 步骤3， 构建基于域迁移融合网络的多摄像头人脸超分辨率网络， 该网络利用域迁移架 构进行无监督训练， 将真实监控人脸超分辨率至高清域， 将两个域迁移架构组成伪孪生结 构， 并提出人脸特征识别损失， 从损失函数层面上利用不同模态人脸间的身份相关性， 嵌入 步骤2所得多摄像头人脸融合超分 网络， 利用不同人脸间的特征相关性， 进一步提升超分质 量； 步骤4， 采用训练数据集对基于域迁移融合网络的多摄像头人脸超分辨率网络进行训 练， 得到训练好的网络模型； 步骤5， 利用训练后的网络模型， 输入两张不同模态 的低分辨率人脸图像， 重建高清人 脸。 2.根据权利要求1所述一种基于域迁移融合网络的多摄像头人脸超分辨率方法， 其特 征在于： 所述特征配准模块由预超分子模块和人脸标点子模块组成， 预超分子模块包括一 个Unet卷积网络， 人脸标点子模块采用四个StackedHourGlass网络块组成的堆叠沙漏网络 实现。 3.根据权利要求1所述一种基于域迁移融合网络的多摄像头人脸超分辨率方法， 其特 征在于： 所述权重调节模块包含全局融合权重分支和局部融合权重分支， 全局 合权重分支 由两个3×3卷积网络块、 一个全局池化层和两个1 ×1卷积网络块依次串联组成； 局部融合 权重分支由三个3 ×3卷积网络块和两个1 ×1卷积网络块串联 组成； 在最后将分别生 成的全 局融合权 重和局部融合权 重相加送入激活层得到最终的融合可信权 重。 4.根据权利要求1所述一种基于域迁移融合网络的多摄像头人脸超分辨率方法， 其特 征在于： 所述特征融合模块包括头尾两部分， 头部首先分别对四组五官特征左眼、 右眼、 鼻 子、 嘴巴， 利用三个不同大小卷积核的多尺度可变性卷积DeformmableConv对输入进行特征 提取， 并将输出的三组特征进行通道叠加， 再送入一个可变形卷积块DeformBlock， 最后对 四组特征进行像素相加； 尾部设置了一个共享网络权重的双分支特征融合网络， 每个分支 包含5个密集连接的融合 块。 5.根据权利要求1或2或3或4所述一种基于域迁移融合网络的多摄像头人脸超分辨率 方法， 其特征在于： 所述基于域迁移融合网络的多摄像头人脸超分辨率网络包括一个负责 生成高质量人脸的人脸融合超分辨率网络、 两个用于辅助域回归损失约束的低质量域生成 模块、 两个用于得到低质量域判别损失的域判别器模块、 一个用于得到高质量域判别损失 的域判别器和一个辅助生成人脸相似度损失的人脸识别特 征提取模块； 构建过程包括以下子步骤， 步骤3.1， 使用人脸融合超分辨率网络对步骤1中的不同模态的低质量人脸图像进行超权　利　要　求　书 1/3 页 2 CN 115131205 A 2分辨率增强得到同一高质量 域的两张人脸； 步骤3.2， 将步骤3.1生成的高质量人脸送入低质量域生成模块， 使其回归到低质量域 获得生成的低质量人脸图像； 步骤3.3， 分别使用两个低质量域生成模块对步骤1中的高质量人脸图像进行降质回归 得到两张不同模态的低质量 域人脸； 步骤3.4， 将步骤3.3生成的低质量人脸送入人脸融合超分辨率网络， 使其回归到高质 量域获得生成的高质量人脸图像； 步骤3.5， 将步骤3.1和步骤3.4中生成的高质量人脸送入高质量域判别器模块， 分别求 高质量域判别损失并更新网络参数； 步骤3.6， 将步骤3.2和步骤3.3中生成的低质量人脸按对应模态分别送入两个低质量 域判别器模块， 分别求各个模态的低质量 域判别损失并更新网络参数； 步骤3.7， 将步骤3.1和步骤3.4中的高质量人脸送入人脸识别特征提取模块， 提取出对 应的人脸识别特 征， 并在两组特 征之间计算身份识别损失函数， 更新网络参数； 步骤3.8， 对步骤3.2和步骤3.4得到的人脸分别于步骤1中得到的人脸分别计算域循环 损失， 并更新网络参数。 6.根据权利要求5所述一种基于域迁移融合网络的多摄像头人脸超分辨率方法， 其特 征在于： 步骤4训练网络时根据损失函数更新整体网络参数， 得到训练好的网络模型， 整体 损失函数表示 为， 其中， λ表示各个损失之 间的经验权重设置， LdomainL表示低质量域判别损失， LdomainH表示 高质量域判别损失， 表示两个模态的域循环损失， 表示两个模态的 身份识别损失， 相应权 重分别记为 λ1, λ2, λ3, λ4, λ5, λ6。 7.一种基于域迁移融合网络的多摄像头人脸超分辨率系统， 其特征在于： 用于实现如 权利要求1 ‑6任一项所述的一种基于域迁移融合网络的多摄 像头人脸超分辨 率方法。 8.根据权利要求7所述一种基于域迁移融合网络的多摄像头人脸超分辨率系统， 其特 征在于： 包括以下模块， 第一模块， 用于构建数据集， 包括将原始真实监控数据集中的人脸图像进行预处理， 构 建训练域迁移融合网络所需的低质量人脸 ‑高质量身份信息的身份对齐图像数据集； 第二模块， 用于构建多摄像头人脸融合超分辨率网络， 所述多摄像头人脸融合超分辨 率网络包括特征配准模块、 特征融合模块和权重调节模块， 首先在特征配准模块根据预超 分图像获取对应的五官位置掩膜并进行五官特征配准得到配准后的图像； 其次， 利用权重 调节模块在两个配准特征间获取可信权重信息； 最后根据进 行特征配准后的人脸和可信权 重， 通过特征融合模块进行自适应融合， 获得最终输出 人脸； 第三模块， 用于构建基于域迁移融合网络的多摄像头人脸超分辨率网络， 该网络利用 域迁移架构进行无监督训练， 将真实监控人脸超分辨率至高清域， 将两个域迁移架构组成 伪孪生结构， 并提出人脸特征识别损失， 从损失函数层面上利用不同模态人脸间的身份相 关性， 嵌入第二模块所得多摄像头人脸融合超分 网络， 利用不同人脸间的特征相关性， 进一 步提升超分质量；权　利　要　求　书 2/3 页 3 CN 115131205 A 3