(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210843320.8 (22)申请日 2022.07.18 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 胡东方　许鸿民　 (74)专利代理 机构 深圳市联鼎知识产权代理有 限公司 4 4232 专利代理师 刘抗美 (51)Int.Cl. G06T 3/40(2006.01) G06T 5/50(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 图像处理方法、 特征提取方法、 视频处理方 法及装置 (57)摘要 本公开实施例是关于一种图像处理方法、 特 征处理方法、 视频处理方法及装置、 电子设备、 存 储介质， 涉及影像技术领域， 该图像处理方法包 括： 获取待处理视频中的目标图像以及所述目标 图像的相邻帧图像， 并获取所述目标图像的特征 信息以及所述相邻帧图像的特征信息； 根据所述 目标图像的特征信息以及所述相邻帧图像的特 征信息， 确定类内特征信息以及类间特征信息； 对所述类内特征信息以及所述类间特征信息进 行融合， 获取所述目标图像的融合特征； 基于所 述融合特征对 所述目标图像进行图像重建， 生成 所述目标图像对应的重建图像。 本公开实施例中 的技术方案， 能够提高融合特征的准确性以及提 高重建图像的质量。 权利要求书3页 说明书15页 附图10页 CN 115187459 A 2022.10.14 CN 115187459 A 1.一种图像处 理方法， 其特 征在于， 包括： 获取待处理视频中的目标图像以及所述目标图像的相邻帧图像， 并获取所述目标图像 的特征信息以及所述相邻帧图像的特 征信息； 根据所述目标图像的特征信 息以及所述相邻帧图像的特征信 息， 确定类 内特征信 息以 及类间特 征信息； 对所述类内特征信息以及所述类间特征信息进行融合， 获取所述目标图像的融合特 征； 基于所述融合特征对所述目标图像进行图像重建， 生成所述目标图像对应的重建图 像。 2.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据 所述目标图像的特征信 息以及所述相邻帧图像的特 征信息， 确定类内特 征信息以及类间特 征信息， 包括： 通过初始传播层获取 所有相邻帧图像的特 征信息以及所述目标图像的特 征信息； 将所述初始传播层中所有相邻帧图像的特征信息以及 目标图像的特征信息传输至目 标传播层的目标图像， 确定所述类内特 征信息和所述类间特 征信息。 3.根据权利要求2所述的图像处理方法， 其特征在于， 所述将初始传播层中所有相邻帧 图像的特征信息以及目标图像的特征信息传输至目标传播层的目标图像， 确定所述类内特 征信息和所述类间特 征信息， 包括： 基于一个传播模块， 将所述传播模块中初始传播层对应的相邻帧图像的特征信 息以及 目标图像的特 征信息传输 至目标传播层的目标图像， 以确定所述类内特 征信息； 基于多个传播模块， 将初始传播层对应的相邻帧图像的特征信 息以及目标图像的特征 信息传输 至目标传播层的目标图像， 以确定所述类间特 征信息。 4.根据权利要求3所述的图像处理方法， 其特征在于， 所述基于一个传播模块， 将所述 传播模块中初始传播层对应的相邻帧图像的特征信息以及目标图像的特征信息传输至目 标传播层的目标图像， 以确定所述类内特 征信息， 包括： 将所述传播模块中， 第 一传播层对应的所有相邻帧图像的特征信 息以及目标图像的特 征信息传输 至第二传播层中的目标图像， 以确定所述类内特 征信息。 5.根据权利要求3所述的图像处理方法， 其特征在于， 所述基于多个传播模块， 将初始 传播层对应的相邻帧图像的特征信息以及目标图像的特征信息传输至目标传播层的目标 图像， 以确定所述类间特 征信息， 包括： 在所述多个传播模块中确定当前传播模块； 将所述多个传播模块中， 与 所述当前传播模块相邻的所有传播模块的所有传播层确定 为初始传播层； 将所述初始传播层包含的所有相邻帧图像的特征信 息以及目标图像的特征信 息， 传输 至所述当前传播模块中目标传播层的目标图像， 以确定所述类间特 征信息。 6.根据权利要求1所述的图像处理方法， 其特征在于， 所述根据 所述类内特征信 息和所 述类间特 征信息确定所述目标图像的融合特 征， 包括： 将所述类内特 征信息和所述类间特 征信息进行三维卷积 操作， 以确定所述融合特 征。 7.根据权利要求1所述的图像处理方法， 其特征在于， 所述基于所述融合特征对所述目 标图像进行图像重建， 生成所述目标图像对应的重建图像， 包括：权　利　要　求　书 1/3 页 2 CN 115187459 A 2根据所述融合特征生成目标特征， 并根据 所述目标特征对所述目标图像进行图像重建 以生成重建图像。 8.根据权利要求7所述的图像处理方法， 其特征在于， 所述根据 所述融合特征生成 目标 特征， 包括： 对所述融合特征分别进行第 一卷积操作和第 二卷积操作， 并对第 一卷积操作的第 一卷 积结果和第二卷积 操作的第二卷积结果进行融合处 理， 以确定融合结果； 对所述融合结果进行第 三卷积操作， 并根据第 三卷积操作的第 三卷积结果确定变形结 果； 将所述融合结果和所述变形 结果进行逻辑操作， 确定所述目标 特征。 9.根据权利要求8所述的图像处理方法， 其特征在于， 所述将所述融合结果和所述变形 结果进行逻辑操作， 确定所述目标 特征， 包括： 将所述融合结果和所述变形 结果进行乘法操作， 获取参 考特征； 按照所述融合特 征的维度对所述 参考特征进行调整， 以生成所述目标 特征。 10.根据权利要求1所述的图像处 理方法， 其特 征在于， 所述方法还 包括： 将所述相邻帧图像映射至所述目标图像， 以对所述相邻帧图像的特征信 息和所述目标 图像的特 征信息进行对齐操作。 11.一种特 征处理方法， 其特 征在于， 包括： 获取待处理视频中的目标图像以及所述目标图像的相邻帧图像， 并获取所述目标图像 的特征信息以及所述相邻帧图像的特 征信息； 根据所述目标图像的特征信 息以及所述相邻帧图像的特征信 息， 确定类 内特征信 息以 及类间特 征信息； 对所述类内特征信息以及所述类间特征信息进行融合， 获取所述目标图像的融合特 征。 12.一种视频处 理方法， 其特 征在于， 包括： 获取待处理视频中的目标图像以及所述目标图像的相邻帧图像， 并获取所述目标图像 的特征信息以及所述相邻帧图像的特 征信息； 根据所述目标图像的特征信 息以及所述相邻帧图像的特征信 息， 确定类 内特征信 息以 及类间特 征信息； 对所述类内特征信息以及所述类间特征信息进行融合， 获取所述目标图像的融合特 征； 基于所述融合特征对所述目标图像进行图像重建， 生成所述目标图像对应的重建图 像； 根据所述重建图像对所述待处 理视频进行处 理， 获取目标视频。 13.根据权利要求12所述的视频处理方法， 其特征在于， 所述根据 所述重建图像对所述 待处理视频进行处 理， 获取目标视频包括： 按照时间序列对所述重建图像进行组合， 以对所述待处理视频进行超分辨率处理， 获 取所述目标视频； 所述目标视频的分辨 率大于所述待处 理视频的分辨 率。 14.一种图像处 理装置， 其特 征在于， 包括： 特征提取模块， 用于获取待处理视频中的目标图像以及所述目标图像的相邻帧图像，权　利　要　求　书 2/3 页 3 CN 115187459 A 3