(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210764492.6 (22)申请日 2022.06.30 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 李庆宇　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 李燕春 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/20(2022.01)G06V 40/16(2022.01) G06N 3/08(2006.01) (54)发明名称 图像处理模型训练方法、 图像处理方法、 装 置及电子设备 (57)摘要 本公开关于一种图像处理模 型训练方法、 图 像处理方法、 装置及电子设备， 该方法包括： 获取 参考图像所包括的第一对象的第一形状特征向 量， 以及样 本图像所包括的第二对象的第二形状 特征向量和属性特征向量； 将第一形状特征向量 和第二形状特征向量， 输入待训练的图像处理模 型中， 得到目标形状特征向量； 将目标形状特征 向量和属性特征向量进行渲染， 得到样本图像对 应的输出图像； 根据参考图像与输出图像之间的 第一损失值， 以及样本图像与输出图像 之间的第 二损失值， 对待训练的图像处理模型进行训练， 得到训练后的图像处理模型。 可见， 通过选取不 同的参考图像， 输出图像中的对象具有不同的形 变结果， 从而解决了相关技术中形变结果较为单 一的问题。 权利要求书4页 说明书23页 附图6页 CN 115115909 A 2022.09.27 CN 115115909 A 1.一种图像处 理模型训练方法， 其特 征在于， 包括： 获取参考图像所包括的第 一对象的第 一形状特征向量， 以及样本图像所包括的第 二对 象的第二形状特征向量和属性特征向量； 所述第一形状特征向量用于表征所述第一对象的 形状特征； 所述第二形状特征向量用于表征所述第二对 象的形状特征， 所述属 性特征向量 为所述第二对象的除所述第二形状特征向量之外的特征向量； 所述第二对象的形状特征与 第一对象的形状特 征不同； 将所述第一形状特征向量和所述第二形状特征向量， 输入待训练的图像处理模型中， 得到所述第二对象的目标形状特征向量； 所述目标形状特征向量通过所述待训练的图像处 理模型对所述第一形状特 征向量和所述第二形状特 征向量进行融合处 理得到； 将所述目标形状特征向量和所述属性特征向量进行渲染， 得到所述样本图像对应的输 出图像； 根据所述参考图像与 所述输出图像之间的第 一损失值， 以及所述样本图像与 所述输出 图像之间的第二损失值， 对所述待训练的图像处理模型进行训练， 得到训练后的图像处理 模型； 所述第一损失值用于表征所述输出图像中对象的形状特征相对于所述第一对象的形 状特征的损失大小， 所述第二损失值用于表征所述输出图像中对象的属性特征相对于所述 第二对象的属性特征的损失大小， 一个对象的属性特征为所述对象中除形状特征之外的特 征。 2.根据权利要求1所述的方法， 其特征在于， 所述获取参考图像所包括的第 一对象的第 一形状特 征向量， 包括： 将参考图像输入预先训练得到的形状特征提取模型， 通过所述形状特征提取模型提取 所述参考图像所包括的第一对象的多个第一形状特征图， 并输出所述多个第一形状特征 图； 不同第一形状特 征图用于表征 所述第一对象的不同维度的形状特 征； 将所述多个第一形状特 征图分别通过全局池化， 得到多个第一子形状特 征向量； 将所述多个第 一子形状特征向量进行拼接， 得到参考图像所包括的第 一对象的第 一形 状特征向量。 3.根据权利要求2所述的方法， 其特 征在于， 所述形状特 征提取模型的训练过程， 包括： 获取包括不同类型的第 三对象的第 一训练图像； 所述不同类型的第 三对象的形状特征 不同， 所述第一训练图像标注有分类标签， 所述分类标签用于表征所述第三对 象的形状特 征； 将所述第一训练图像输入待训练的形状特征提取模型， 得到输出结果； 所述输出结果 用于表征从所述待训练的形状特 征提取模型输出的图像所包括对象的形状特 征； 基于所述分类标签与 所述输出结果， 计算所述待训练的形状特征提取模型的损失函数 值； 在计算所得的损失函数值小于第 一预设损失值的情况下， 确定所述待训练的形状特征 提取模型的模型参数， 得到训练后的形状特 征提取模型。 4.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一形状特征向量和所述第 二 形状特征向量， 输入待训练的图像处理模型中， 得到所述第二对象的目标形状特征向量， 包 括： 将所述第二形状特征向量输入所述待训练 的图像处理模型的第 一全连接层， 得到形变权　利　要　求　书 1/4 页 2 CN 115115909 A 2后的第二形状特 征向量； 将所述形变后的第 二形状特征向量与带权重系数的所述第 一形状特征向量， 输入所述 待训练的图像处理模型 的第二全连接层， 得到所述第二对 象的目标形状特征向量； 所述权 重系数是预先设定的。 5.根据权利要求1至4任一项所述的方法， 其特征在于， 所述根据所述参考图像与所述 输出图像之间的第一损失值， 以及所述样本图像与所述输出图像之间的第二损失值， 对所 述待训练的图像处 理模型进行训练， 得到训练后的图像处 理模型， 包括： 计算所述参考图像与 所述输出图像之间的第 一损失值， 以及所述样本图像与 所述输出 图像之间的第二损失值； 在所述第一损失值和所述第 二损失值之和小于第 二预设损失值 时， 确定所述待训练 的 图像处理模型的模型参数， 得到训练后的图像处 理模型。 6.根据权利要求5所述的方法， 其特征在于， 所述计算所述参考图像与 所述输出图像之 间的第一损失值， 以及所述样本图像与所述输出图像之间的第二损失值， 包括： 计算所述参考图像与 所述输出图像的对抗损失值， 作为所述参考图像与所述输出图像 之间的第一损失值； 计算所述样本图像与所述输出图像分别经过对象识别所得的对象特征向量之间的损 失值， 以及所述样本图像与所述输出图像经 过下采样所 得的特征图之间的损失值； 将所述对象特征向量之间的损失值和所述经过下采样所得的特征图之间的损失值之 和， 作为第二损失值。 7.根据权利要求1至4任一项所述的方法， 其特征在于， 所述获取样本 图像所包括的第 二对象的第二形状特 征向量和 属性特征向量， 包括： 将样本图像输入预先训练得到的三维重建模型， 通过所述三维重建模型提取所述样本 图像所包括的第二对象的第二形状特 征向量和 属性特征向量。 8.根据权利要求7 所述的方法， 其特 征在于， 所述 三维重建模型的训练过程， 包括： 获取包括第四对象的第 二训练图像， 并将所述第 二训练图像输入待训练 的三维重建模 型， 通过所述待训练的三维重建模型提取所述第四对 象的形状特征向量、 第一属 性特征向 量和第二属 性特征向量； 所述第一属 性特征向量用于表征所述第四对 象本身的特征， 所述 第二属性特 征向量用于表征 所述第四对象在所述第二训练图像中的环境特 征； 将所述第四对象的形状特征向量和所述第 一属性特征向量输入三维形变模型， 得到所 述第四对象对应的三维网格； 基于所述第二属性特 征向量以及所述 三维网格， 渲染得到 输出图像； 在所述第二训练图像和所述输出图像之间的像素级别损失值、 所述第 二训练图像和所 述输出图像分别经过对 象识别所得的对 象特征向量之间的损失值， 以及， 所述第二训练图 像和所述输出图像分别经过对 象关键点检测所得 的关键点之间的损失值之和小于预设损 失值时， 得到训练后的三维重建模型。 9.一种图像处 理方法， 其特 征在于， 包括： 获取目标参考图像所包括的参考对象的形状特征向量， 以及目标输入图像所包括的目 标对象的形状特征向量和目标属性特征向量； 所述参考对象的形状特征向量用于表征所述 参考对象的形状特征， 所述 目标对象的形状特征向量用于表征所述 目标对象的形状特征，权　利　要　求　书 2/4 页 3 CN 115115909 A 3