(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221070146 5.4 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114782256 A (43)申请公布日 2022.07.22 (73)专利权人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 张元梵　李根　孙磊　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 毛丹 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 113837941 A,2021.12.24 CN 110033410 A,2019.07.19 CN 110111256 A,2019.08.09 CN 113837946 A,2021.12.24 CN 113240580 A,2021.08.10 WO 2020097710 A1,2020.0 5.22 CN 113205456 A,2021.08.0 3 孙晓鹏.“面向真实场景的图像超分辨 率重 建算法研究 ”. 《中国优秀硕士学位 论文全文数据 库 信息科技 辑》 .2022,(第04期),I138-96 3. 李明鸿.“基于卷积神经网的单图像超分辨 率技术研究”. 《中国优秀博硕士学位 论文全文数 据库(硕士)信 息科技 辑》 .2022,(第06期), I138-382. 王素玉 等. “基于双注意力机制信息蒸馏网 络的图像超分辨 率复原算法 ”. 《计算机 应用》 .2021,239-24 4. 审查员 赵恒昌 (54)发明名称 图像重建方法、 装置、 计算机设备和存储介 质 (57)摘要 本申请涉及一种图像重建方法、 装置、 计算 机设备、 存储介质和计算机程序产品。 该方法包 括： 获取待重建图像对应的初始图像特征； 对初 始图像特征进行特征蒸馏， 得到初始蒸馏特征， 并提取初始图像特征对应的初始残差特征， 对初 始残差特征进行特征蒸馏， 得到残差蒸馏特征； 提取残差蒸馏特征对应的残差 特征， 得到中间残 差特征， 对中间残差特征进行特征蒸馏， 得到中 间蒸馏特征； 将初始蒸馏特征、 残差蒸馏特征和 中间蒸馏特征进行融合， 得到融合特征， 对融合 特征进行注意力特征提取， 得到注意力特征； 将 注意力特征与初始图像特征进行叠加， 得到目标 蒸馏特征， 基于目标蒸馏特征进行超分辨率图像重建， 得到目标图像。 采用本方法能够提高图像 重建效率。 权利要求书4页 说明书23页 附图13页 CN 114782256 B 2022.09.02 CN 114782256 B 1.一种图像重建方法， 其特 征在于， 所述方法包括： 获取待重建图像对应的初始图像特 征； 对所述初始图像特征进行特征蒸馏， 得到初始蒸馏特征， 并提取所述初始图像特征对 应的残差特征， 得到初始残差特征， 对所述初始残差特征进行特征蒸馏， 得到残差蒸馏特 征； 提取所述残差蒸馏特征对应的残差特征， 得到中间残差特征， 对所述中间残差特征进 行特征蒸馏， 得到中间蒸馏特 征； 将所述初始蒸馏特征、 所述残差蒸馏特征和所述中间蒸馏特征进行融合， 得到融合特 征， 对所述融合特 征进行注意力特 征提取， 得到注意力特 征； 将所述注意力特征与所述初始图像特征进行叠加， 得到目标蒸馏特征， 基于所述目标 蒸馏特征进行超分辨 率图像重建， 得到目标图像。 2.根据权利要求1所述的方法， 其特征在于， 所述提取所述残差蒸馏特征对应的残差特 征， 得到中间残差特征， 对所述中间残差特征进行特征蒸馏， 得到中间蒸馏特征之后， 还包 括： 将所述中间蒸馏特征作为所述残差蒸馏特征， 并返回提取所述残差蒸馏特征对应的残 差特征， 得到中间残差特征， 对 所述中间残差特征进 行特征蒸馏， 得到中间蒸馏特征的步骤 执行， 直到达到残差蒸馏完成条件时， 得到各个中间蒸馏特 征； 将所述初始蒸馏特征、 所述残差蒸馏特征和所述中间蒸馏特征进行融合， 得到融合特 征， 包括： 将所述初始蒸馏特征、 所述残差蒸馏特征和所述各个中间蒸馏特征进行拼接， 得到所 述融合特 征。 3.根据权利要求1所述的方法， 其特征在于， 在所述将所述注意力特征与所述初始图像 特征进行叠加， 得到目标蒸馏特 征之后， 还 包括： 将所述目标蒸馏特征作为初始图像特征， 并返回对所述初始图像特征进行特征蒸馏， 得到初始蒸馏特征， 并提取所述初始图像特征对应的残差特征， 得到初始残差特征， 对所述 初始残差特征进行特征蒸馏， 得到残差蒸馏特征 的步骤执行， 直到达到特征提取完成条件 时， 得到各个目标蒸馏特 征； 将所述各个目标蒸馏特征进行特征融合， 得到目标融合特征， 将所述目标融合特征与 所述初始图像特 征进行叠加， 得到最终蒸馏特 征； 所述基于所述目标蒸馏特 征进行超分辨 率图像重建， 得到目标图像， 包括： 基于所述 最终蒸馏特 征进行上采样重建， 得到所述目标图像。 4.根据权利要求1所述的方法， 其特 征在于， 所述方法， 还 包括： 将所述待重建图像输入到超分辨率图像重建模型中， 通过所述超分辨率图像重建模型 提取所述待重建图像对应的初始图像特 征； 通过所述超分辨率图像重建模型对所述初始图像特征进行特征蒸馏， 得到初始蒸馏特 征， 并提取所述初始图像特征对应的残差特征， 得到初始残差特征， 对所述初始残差特征进 行特征蒸馏， 得到残差蒸馏特 征； 通过所述超分辨率图像重建模型提取所述残差蒸馏特征对应的残差特征， 得到 中间残 差特征， 对所述中间残差特 征进行特征蒸馏， 得到中间蒸馏特 征；权　利　要　求　书 1/4 页 2 CN 114782256 B 2通过所述超分辨率图像重建模型将所述初始蒸馏特征、 所述残差蒸馏特征和所述中间 蒸馏特征进行融合， 得到融合特征， 对所述融合特征进行注意力特征提取， 得到注意力特 征； 通过所述超分辨率图像重建模型将所述注意力特征与 所述初始图像特征进行叠加， 得 到目标蒸馏特 征， 基于所述目标蒸馏特 征进行超分辨 率图像重建， 得到目标图像。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述融合特征进行注意力特征提 取， 得到注意力特 征， 包括： 基于所述融合特 征进行跨 步卷积运 算， 得到跨 步卷积特 征； 将所述跨步卷积特征进行最大池化运算， 得到池化特征， 将所述池化特征作为所述注 意力特征； 所述将所述注意力特 征与所述初始图像特 征进行叠加， 得到目标蒸馏特 征， 包括： 将所述池化特 征与所述初始图像特 征进行叠加， 得到所述目标蒸馏特 征。 6.根据权利要求4所述的方法， 其特征在于， 所述对所述融合特征进行注意力特征提 取， 得到注意力特 征， 包括： 基于所述融合特征进行空洞卷积运算， 得到空洞卷积特征， 将所述空洞卷积特征作为 所述注意力特 征； 所述将所述注意力特 征与所述初始图像特 征进行叠加， 得到目标蒸馏特 征， 包括： 将所述空洞卷积特 征与所述初始图像特 征进行叠加， 得到所述目标蒸馏特 征。 7.根据权利要求4所述的方法， 其特征在于， 所述超分辨率图像重建模型包括初始特征 提取网络、 残差特 征蒸馏网络和图像重建网络， 所述方法， 还 包括： 通过所述初始特 征提取网络提取 所述待重建图像对应的初始图像特 征； 通过所述残差特征蒸馏网络对所述初始图像特征进行特征蒸馏， 得到初始蒸馏特征， 并提取所述初始图像特征对应的残差特征， 得到初始残差特征， 对所述初始残差特征进行 特征蒸馏， 得到残差蒸馏特 征； 通过所述残差特征蒸馏网络提取所述残差蒸馏特征对应的残差特征， 得到 中间残差特 征， 对所述中间残差特 征进行特征蒸馏， 得到中间蒸馏特 征； 通过所述残差特征蒸馏网络将所述初始蒸馏特征、 所述残差蒸馏特征和中间蒸馏特征 进行合并， 得到合并特征， 对所述合并特征进行空间注意力特征提取， 得到空间注意力特 征； 通过所述残差特征蒸馏网络将所述空间注意力特征与 所述初始图像特征进行叠加， 得 到目标蒸馏特 征； 通过所述图像重建网络将所述目标蒸馏特 征进行超分辨 率图像重建， 得到目标图像。 8.根据权利要求4所述的方法， 其特征在于， 所述超分辨率图像重建模型包括级联的残 差特征蒸馏网络， 所述方法， 还 包括： 将所述初始图像特征输入到级联的残差特征蒸馏网络 中， 通过所述级联的残差特征蒸 馏网络中当前残差特征蒸馏网络对所述初始图像特征进行特征蒸馏， 得到 当前目标蒸馏特 征； 将所述当前目标蒸馏特征输入到与所述当前残差特征蒸馏网络级联的残差特征蒸馏 网络中进行 特征蒸馏， 得到级联目标蒸馏特 征；权　利　要　求　书 2/4 页 3 CN 114782256 B 3