(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210828892.9 (22)申请日 2022.07.15 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 郑贺　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 吕朝蕙 (51)Int.Cl. G06T 5/00(2006.01) G06N 3/04(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 视频修复方法和视频修复模 型的训练方法、 装置 (57)摘要 本公开提供了一种视频修复方法和视频修 复模型的训练方法、 装置， 涉及人工智能领域， 具 体涉及深度学习、 图像处理和计算机视觉等技术 领域， 可应用于视频处理和AIGC等场景。 视频修 复方法的具体实现方案为： 提取待修复视频中视 频帧序列的特征， 得到图像特征； 提取针对视频 帧序列的蒙版图序列的特征， 得到蒙版特征； 蒙 版图序列指示视频帧序列中视频帧的待修复区 域； 拼接图像特征和蒙版特征， 获得针对视频帧 序列的编码特征； 以及对编码特征进行解码， 得 到针对视频帧序列中目标视频帧的修复图像 。 权利要求书4页 说明书13页 附图7页 CN 115018734 A 2022.09.06 CN 115018734 A 1.一种视频修复方法， 包括： 提取待修复视频中视频帧序列的特 征， 得到图像特 征； 提取针对所述视频帧序列的蒙版图序列的特征， 得到蒙版特征； 所述蒙版图序列指示 所述视频帧序列中视频帧的待修复区域； 拼接所述图像特 征和所述 蒙版特征， 获得针对所述视频帧序列的编码特 征； 以及 对所述编码特 征进行解码， 得到针对所述视频帧序列中目标视频帧的修复图像。 2.根据权利要求1所述的方法， 其中， 所述拼接所述图像特征和所述蒙版特征， 获得针 对所述视频帧序列的编码特 征包括： 拼接所述图像特 征和所述 蒙版特征， 得到拼接后特 征； 以及 采用傅里叶卷积网络对所述 拼接后特 征进行处 理， 得到所述编码特 征。 3.根据权利要求2所述的方法， 其中， 所述傅里叶卷积网络包括第一卷积子网络、 傅里 叶变换子网络、 第二卷积子网络和傅里叶逆变换子网络； 所述采用傅里叶卷积网络对所述 拼接后特 征进行处 理， 得到所述编码特 征包括： 采用所述第一卷积子网络对所述 拼接后特 征进行融合处 理， 得到第一融合特 征； 采用所述傅里叶变换子网络对所述第一融合特征进行傅里叶变换处理， 得到频域特 征； 采用所述第二卷积子网络对所述频域特 征进行融合处 理， 得到第二融合特 征； 以及 采用所述傅里叶逆变换子网络对所述第 二融合特征进行傅里叶逆变换处理， 得到所述 编码特征。 4.根据权利要求3所述的方法， 其中， 所述采用所述傅里叶逆变换子网络对所述第 二融 合特征进行傅里叶逆变换处 理， 得到所述编码特 征， 包括： 采用所述傅里叶逆变换子网络对所述第 二融合特征进行傅里叶逆变换处理， 得到时域 特征； 以及 融合所述时域特 征和所述第一融合特 征， 得到所述编码特 征。 5.根据权利要求1所述的方法， 其中： 所述提取待修复视频中视频帧序列的特 征， 得到图像特 征， 包括： 采用第一时序卷积网络对所述视频帧序列进行处 理， 得到所述图像特 征； 以及 所述提取针对所述视频帧序列的蒙版图序列的特 征， 得到蒙版 特征， 包括： 采用第二时序卷积网络对所述 蒙版图序列进行处 理， 得到所述 蒙版特征。 6.根据权利要求1所述的方法， 还 包括： 从所述待修复视频中抽取预定数量个任一目标视频帧的在前视频帧和所述预定数量 个所述目标视频帧的在后视频帧； 以及 将所述在前视频帧排在所述目标视频帧之前并将所述在后视频帧排在所述目标视频 帧之后， 得到所述视频帧序列， 其中， 所述目标视频帧为所述视频帧序列中的中间视频帧； 第一视频帧与所述目标视 频帧之间的播放时刻差值小于或等于第二视频帧与所述目标视频帧之 间的播放时刻差值， 所述第一视频帧为所述视频帧序列中靠近所述目标视频帧的视频帧， 所述第二视频帧为所 述视频帧序列中远离所述目标视频帧的视频帧。 7.根据权利要求6所述的方法， 其中， 所述从所述待修复视频中抽取预定数量个任一目权　利　要　求　书 1/4 页 2 CN 115018734 A 2标视频帧的在前视频帧和所述预定数量个所述目标视频帧的在后视频帧， 包括： 响应于确定所述目标视频帧属于所述待修复视频中播放时刻在前的预定数量个视频 帧， 根据所述在后视频帧获取 所述在前视频帧； 或者， 响应于确定所述目标视频帧属于所述待修复视频中播放时刻在后的预定数量个视频 帧， 根据所述在前视频帧获取 所述在后视频帧。 8.根据权利要求1所述的方法， 其中， 所述蒙版图序列中的至少两个蒙版图与 所述视频 帧序列中的至少两个视频帧一一对应； 所述蒙版图指示对应的视频帧中待修复像素所在的 区域。 9.一种视频修复模型的训练方法， 其中， 所述视频修复模型包括第 一特征提取网络、 第 二特征提取网络、 融合网络和解码网络； 所述方法包括： 采用所述第一特征提取网络提取样本数据中视频帧序列的特征， 得到 图像特征； 所述 样本数据还 包括针对所述视频帧序列中目标视频帧的真值 修复图像； 采用第二特征提取网络提取所述样本数据中针对所述视频帧序列的蒙版图序列的特 征， 得到蒙版 特征； 所述蒙版图序列指示所述视频帧序列中视频帧的待修复区域； 采用所述融合网络拼接所述图像特征和所述蒙版特征， 获得针对所述视频帧序列的编 码特征； 采用所述解码网络对所述编码特征进行解码， 得到针对所述目标视频帧的预测修复图 像； 以及 根据所述预测修复图像与 所述真值修复图像之间的差异， 对所述视频修复模型进行训 练。 10.根据权利要求9所述的方法， 还 包括： 根据所述预测修复图像中相邻像素的差异， 确定所述视频修复模型的全变分损 失； 以 及 根据所述全变分损失， 对所述视频修复模型进行训练。 11.根据权利要求9或10所述的方法， 其中： 所述第一特 征提取网络和所述第二特 征提取网络包括时序卷积网络； 所述融合网络包括 傅里叶卷积网络 。 12.一种视频修复装置， 包括： 第一特征提取模块， 用于提取待修复视频中视频帧序列的特 征， 得到图像特 征； 第二特征提取模块， 用于提取针对所述视频帧序列的蒙版图序列的特征， 得到蒙版特 征； 所述蒙版图序列指示所述视频帧序列中视频帧的待修复区域； 特征融合模块， 用于拼接所述图像特征和所述蒙版特征， 获得针对所述视频帧序列的 编码特征； 以及 解码模块， 用于对所述编码特征进行解码， 得到针对所述视频帧序列中目标视频帧的 修复图像。 13.根据权利要求12所述的装置， 其中， 所述特 征融合模块包括： 拼接子模块， 用于拼接所述图像特 征和所述 蒙版特征， 得到拼接后特 征； 以及 处理子模块， 用于采用傅里叶卷积网络对所述拼接后特征进行处理， 得到所述编码特权　利　要　求　书 2/4 页 3 CN 115018734 A 3