(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210690307.3 (22)申请日 2022.06.17 (71)申请人 深圳市商汤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 李大松　石晓宇　张祎　秦红伟　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 董文俊 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06V 10/80(2022.01) (54)发明名称 图像修复方法及 装置、 电子设备及计算机可 读存储介质 (57)摘要 本申请公开了一种图像修复方法及装置、 电 子设备及计算机可读存储介质。 该方法包括： 获 取第一图像的第一特征数据和第二图像的第二 特征数据； 所述第一图像和所述第二图像均属于 待修复视频， 且 所述第一图像的时间戳与所述第 二图像的时间戳的差小于或等于时间阈值； 根据 所述第一特征数据， 得到至少一个第三特征数 据； 所述至少一个第三特征数据在空间维度的位 置均与所述第一特征数据在所述空间维度的位 置不同； 将所述第二特征数据与所述至少一个第 三特征数据融合， 得到第四特征数据； 根据所述 第四特征数据对 所述第二图像进行修复， 得到第 一修复图像 。 权利要求书3页 说明书24页 附图4页 CN 115049553 A 2022.09.13 CN 115049553 A 1.一种图像修复方法， 其特 征在于， 所述方法包括： 获取第一图像的第 一特征数据和第 二图像的第 二特征数据； 所述第 一图像和所述第 二 图像均属于待修复视频， 且所述第一图像的时间戳与所述第二图像的时间戳的差小于或等 于时间阈值； 根据所述第一特征数据， 得到至少一个第三特征数据； 所述至少一个第三特征数据在 空间维度的位置均 与所述第一特 征数据在所述空间维度的位置不同； 将所述第二特 征数据与所述至少一个第三特 征数据融合， 得到第四特 征数据； 根据所述第四特 征数据对所述第二图像进行修复， 得到第一 修复图像。 2.根据权利要求1所述的方法， 其特征在于， 所述待修复视频还包括第三图像， 所述第 二图像时间戳处于所述第一图像的时间戳与所述第三图像的时间戳之间； 在所述根据所述第四特征数据对所述第二图像进行修复， 得到第一修复图像之前， 所 述方法还 包括： 获取所述第三图像的第五特 征数据； 对所述第四特 征数据和所述第五特 征数据进行融合， 得到第六 特征数据； 所述根据所述第四特 征数据对所述第二图像进行修复， 得到第一 修复图像， 包括： 根据所述第六 特征数据对所述第二图像进行修复， 得到所述第一 修复图像。 3.根据权利要求2所述的方法， 其特征在于， 所述第五特征数据的通道数为s， 所述s为 大于1的正数； 所述对所述第四特 征数据和所述第五特 征数据进行融合， 得到第六 特征数据， 包括： 从所述第五特 征数据中选取m个通道的数据， 得到第七特 征数据， 所述m小于所述s； 对所述第四特 征数据和所述第七特 征数据进行融合， 得到所述第六 特征数据。 4.根据权利要求2或3所述的方法， 其特征在于， 所述根据所述第六特征数据对所述第 二图像进行修复， 得到所述第一 修复图像， 包括： 对所述第六 特征数据进行 下采样处 理， 得到第八特 征数据； 对所述第八特 征数据进行 特征提取处 理， 得到第九特 征数据； 对所述第九特征数据进行上采样处理， 得到第十特征数据； 所述第十特征数据的尺寸 与所述第六 特征数据的尺寸相同； 对所述第十特 征数据进行解码处 理， 得到所述第一 修复图像。 5.根据权利要求1至4中任意一项所述的方法， 其特征在于， 所述将所述第二特征数据 与所述至少一个第三特 征数据融合， 得到第四特 征数据， 包括： 对所述第二特征数据和所述至少一个第 三特征数据进行通道间的融合， 得到第十一特 征数据； 对所述第十一特 征数据进行通道内的融合， 得到第十二特 征数据； 根据所述第十二特 征数据， 得到所述第四特 征数据。 6.根据权利要求5所述的方法， 其特征在于， 所述第十二特征数据包括第十三特征数据 和第十四特征数据， 所述第十三特征数据属于所述第十二特征数据的第一通道， 所述第十 四特征数据属于所述第十二特 征数据的第二 通道； 所述根据所述第十二特 征数据， 得到所述第四特 征数据， 包括： 获取所述第一 通道的第一权 重和所述第二 通道的第二权 重；权　利　要　求　书 1/3 页 2 CN 115049553 A 2将所述第一权重作为所述第十三特征数据的融合权重， 所述第 二权重作为所述第十四 特征数据的融合权重， 对所述第十三特征数据和所述第十四特征数据进行加权融合， 得到 所述第四特 征数据。 7.根据权利要求1至6中任意一项所述的方法， 其特征在于， 所述根据所述第一特征数 据， 得到至少一个第三特 征数据， 包括： 获取至少一个偏移量； 根据所述至少一个偏移量将所述第 一特征数据在所述空间维度内移动， 得到所述至少 一个第三特 征数据。 8.根据权利要求1至7中任意一项所述的方法， 其特征在于， 在得到所述第一修复图像 后， 所述方法还 包括： 使用所述第一 修复图像替换 所述待修复视频中的所述第二图像。 9.根据权利要求1至8中任意一项所述的方法， 其特征在于， 所述图像修复方法通过图 像修复网络实现， 所述图像修复 网络包括特 征提取模块、 特 征融合模块、 解码模块； 所述根据所述第一特 征数据， 得到 至少一个第三特 征数据， 包括： 通过所述特征融合模块 根据所述第一特 征数据， 得到 至少一个第三特 征数据； 所述将所述第二特征数据与所述至少一个第三特征数据融合， 得到第 四特征数据， 包 括： 通过所述特征融合模块将所述第 二特征数据与 所述至少一个第 三特征数据融合， 得到 第四特征数据； 所述根据所述第四特 征数据对所述第二图像进行修复， 得到第一 修复图像， 包括： 通过所述特征融合模块和所述解码模块根据 所述第四特征数据， 得到所述第 二图像的 第一修复图像； 所述获取第一图像的第一特 征数据和第二图像的第二特 征数据， 包括： 通过所述特征提取模块 提取所述第一图像的特 征信息， 得到所述第一特 征数据； 通过所述特征提取模块 提取所述第二图像的特 征信息， 得到所述第二特 征数据。 10.根据权利要求9所述的方法， 其特征在于， 所述图像修复方法还包括所述图像修复 网络的训练过程： 获取训练视频， 所述训练视频包括第 四图像和第五图像， 所述第 四图像的时间戳与所 述第五图像的时间戳的差小于或等于所述时间阈值； 利用所述第四图像修复所述第五图像， 得到第二 修复图像； 根据所述第二修复图像与第六图像的第一差异， 得到第一损 失； 所述第六图像为所述 第五图像的真值； 所述第一损失与所述第一差异呈正相关； 根据所述第一损失， 更新所述图像修复 网络的参数。 11.根据权利要求10所述的方法， 其特征在于， 所述利用所述第四图像修复所述第五图 像， 得到第二 修复图像， 包括： 通过所述特征提取模块 提取所述第四图像的特 征信息， 得到第十五特 征数据； 通过所述特征提取模块 提取所述第五图像的特 征信息， 得到第十六 特征数据； 通过所述特征融合模块对所述第十五特征数据和所述第十六特征数据进行处理， 得到 第十七特 征数据， 所述第十七特 征数据为所述第五图像的修复后的特 征数据；权　利　要　求　书 2/3 页 3 CN 115049553 A 3