(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210766709.7 (22)申请日 2022.06.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 李杰　赵晨　 (74)专利代理 机构 北京易光知识产权代理有限 公司 11596 专利代理师 王姗姗　金爱静 (51)Int.Cl. G06T 19/20(2011.01) G06T 7/80(2017.01) G06T 7/40(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/54(2022.01) G06V 10/80(2022.01) (54)发明名称 风格化三维人脸生成方法、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了一种风格化三维人脸生成方 法、 装置、 电子设备及存储介质， 涉及人工智能技 术领域， 尤其涉及计算机视觉、 深度学习、 增强/ 虚拟现实等技术领域， 可应用于元宇宙、 虚拟数 字人生成等场景。 具体实现方案为： 获取拍摄装 置采集的二维人脸图像； 基于拍摄装置的内参， 将二维人脸图像转换为三维人脸图像； 基于三维 人脸图像， 生成风格化纹理特征； 基于风格化纹 理特征， 生成风格化三维人脸图像。 本公开得到 风格化的三维人脸图像。 整个处理流程自动完 成， 不需要多方人员参与， 因此风格化三维人脸 生成方法成本低， 且本公开实施例的整体流程简 洁对计算能力要求低。 权利要求书3页 说明书9页 附图7页 CN 115147578 A 2022.10.04 CN 115147578 A 1.一种风格化 三维人脸 生成方法， 包括： 获取拍摄装置采集的二维人脸图像； 基于所述拍摄装置的内参， 将所述 二维人脸图像转换为 三维人脸图像； 基于所述 三维人脸图像， 生成风格化纹 理特征； 基于所述 风格化纹 理特征， 生成风格化 三维人脸图像。 2.根据权利要求1所述的方法， 所述基于所述风格化纹理特征， 生成风格化三维人脸图 像， 包括： 获取从所述 二维人脸图像中提取的真实人脸纹 理； 将所述真实人脸纹 理和所述 风格化纹 理特征进行融合， 得到融合特 征； 基于所述融合特 征生成所述 风格化三维人脸图像。 3.根据权利要求2所述的方法， 所述将所述真实人脸纹理和所述风格化纹理特征进行 融合， 得到融合特 征， 包括： 对所述真实人脸纹 理和所述 风格化纹 理特征进行加权求和， 得到所述融合特 征。 4.根据权利要求1所述的方法， 所述基于所述三维人脸图像， 生成风格化纹理特征， 包 括： 将所述三维人脸图像输入第 一生成器， 得到所述第 一生成器输出的所述风格化纹理特 征。 5.根据权利要求 4所述的方法， 其中， 所述第一 生成器通过如下 方法训练获得， 包括： 基于所述拍摄装置的内参， 将二维人脸样本转换为 三维人脸样本； 基于第二 生成器提取 所述三维人脸样本的风格化纹 理特征； 基于所述三维人脸样本的风格化纹理特征， 得到所述二维人脸样本的风格化三维人脸 图像； 基于第三生成器对所述二维人脸样本的风格化三维人脸图像进行处理， 生成待比对图 像； 确定所述 二维人脸样本和所述待比对图像之间的感知损失； 基于所述感知损失， 调整所述第二 生成器的模型参数 得到所述第一 生成器。 6.根据权利要求5所述的方法， 还 包括： 从所述二维人脸样本中提取 出二维人脸特 征点以及第一五官尺寸； 采用第四生成器对所述二维人脸特征点以及所述第 一五官尺寸进行处理， 得到风格化 的二维人脸特 征点以及第二五官尺寸； 将所述二维人脸样本的风格化三维人脸图像中的三维特征点投影到二维空间得到待 比对二维人脸特征点， 并基于所述待比对二 维人脸特征点确定所述二维人脸样本的风格化 三维人脸图像中的第三五官尺寸； 确定所述风格化的二维人脸特征点和所述待比对二维人脸特征点之间的第 一损失、 以 及所述第二五官尺寸和所述第三五官尺寸之间的第二损失； 所述基于所述感知损失， 调整所述第 二生成器的模型参数得到所述第 一生成器， 包括： 基于所述感知损失、 所述第一损失和所述第二损失调整所述第二生成器的模型参数得到所 述第一生成器。 7.根据权利要求1 ‑6中任一项所述的方法， 所述基于所述风格化纹理特征， 生成风格化权　利　要　求　书 1/3 页 2 CN 115147578 A 2三维人脸图像， 包括： 基于所述风格化纹理特征、 所述拍摄装置的外参、 风格化表情基底以及三维人脸形状 基底， 生成所述风格化三 维人脸图像， 其中， 所述风格化表情基底是基于三角网格形变迁移 方法对已知的真实形状表情基底进行 形变迁移得到的。 8.根据权利要求1所述的方法， 所述基于所述拍摄装置的内参， 将所述二维人脸图像转 换为三维人脸图像， 包括： 对所述二维人脸图像进行 人脸检测， 得到人脸区域； 以所述人脸区域位于 图像中心位置为基准， 对所述二维人脸图像进行裁剪处理， 得到 裁剪后的人脸 二维图像； 基于所述拍摄装置的内参， 将所述裁 剪后的二维人脸图像转换为所述 三维人脸图像。 9.一种风格化 三维人脸 生成装置， 包括： 获取模块， 用于获取拍摄装置采集的二维人脸图像； 转换模块， 用于基于所述拍摄装置的内参， 将所述 二维人脸图像转换为 三维人脸图像； 纹理生成模块， 用于基于所述 三维人脸图像， 生成风格化纹 理特征； 人脸生成模块， 用于基于所述 风格化纹 理特征， 生成风格化 三维人脸图像。 10.根据权利要求9所述的装置， 其中， 所述人脸 生成模块， 包括： 获取单元， 用于获取从所述 二维人脸图像中提取的真实人脸纹 理； 融合单元， 用于将所述真实人脸纹 理和所述 风格化纹 理特征进行融合， 得到融合特 征； 人脸生成单元， 基于所述融合特 征生成所述 风格化三维人脸图像。 11.根据权利要求10所述的装置， 其中， 所述融合单元用于对所述真实人脸纹理和所述 风格化纹 理特征进行加权求和， 得到所述融合特 征。 12.根据权利要求9所述的装置， 其中， 所述纹理生成模块， 用于将所述三维人脸图像输 入第一生成器， 得到所述第一 生成器输出的所述 风格化纹 理特征。 13.根据权利要求12所述的装置， 还包括训练模块， 用于通过如下方法训练获得所述第 一生成器， 包括： 基于所述拍摄装置的内参， 将二维人脸样本转换为 三维人脸样本； 基于第二 生成器提取 所述三维人脸样本的风格化纹 理特征； 基于所述三维人脸样本的风格化纹理特征， 得到所述二维人脸样本的风格化三维人脸 图像； 基于第三生成器对所述二维人脸样本的风格化三维人脸图像进行处理， 生成待比对图 像； 确定所述 二维人脸样本和所述待比对图像之间的感知损失； 基于所述感知损失， 调整所述第二 生成器的模型参数 得到所述第一 生成器。 14.根据权利要求13所述的装置， 所述训练模块还用于： 从所述二维人脸样本中提取 出二维人脸特 征点以及第一五官尺寸； 采用第四生成器对所述二维人脸特征点以及所述第 一五官尺寸进行处理， 得到风格化 的二维人脸特 征点以及第二五官尺寸； 将所述二维人脸样本的风格化三维人脸图像中的三维特征点投影到二维空间得到待 比对二维人脸特征点， 并基于所述待比对二 维人脸特征点确定所述二维人脸样本的风格化权　利　要　求　书 2/3 页 3 CN 115147578 A 3