(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210777263.8 (22)申请日 2022.06.30 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 尚太章　唐礼承　刘家铭　洪智滨　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06V 30/19(2022.01) G06V 30/148(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文字生成模型的训练方法、 文字生成方法及 其装置 (57)摘要 本公开提供了文字生成模型的训练方法、 文 字生成方法及其装置， 涉及人工智能技术领域， 尤其涉及深度学习、 图像处理、 计算机视觉技术 领域， 该方法包括： 获取多个训练文字对， 其中， 任一训练文字对中包括第一字体下的样本文字， 和样本文字对应的第二字体下的参考文字； 对样 本文字进行分割， 获取样本文字的N个组成元素； 根据样本文字和N个组成元素获取融合特征表 示， 以及获取参考文字的第一特征表示； 基于融 合特征表示和第一特征表示对文字生成模型进 行训练， 以获取目标文字生成模型。 本申请实施 例可以捕捉字体中的部首信息进行学习， 可以实 现文字生 成效果的优化， 提高生成字体的效率的 同时， 也提高了字体生成的准确率。 权利要求书3页 说明书10页 附图4页 CN 115147850 A 2022.10.04 CN 115147850 A 1.一种文字生成模型的训练方法， 包括： 获取多个训练文字对， 其中， 任一所述训练文字对中包括第 一字体下的样本文字， 和所 述样本文字对应的第二字体下的参 考文字； 对所述样本文字进行分割， 获取 所述样本文字的N个组成元 素， 所述N为正整数； 根据所述样本文字和所述N个组成元素获取融合特征表示， 以及获取所述参考文字的 第一特征表示； 基于所述融合特征表示和所述第 一特征表示对文字生成模型进行训练， 以获取目标文 字生成模型。 2.根据权利要求1所述的方法， 其中， 所述根据所述样本文字和所述N个组成元素获取 融合特征表示， 包括： 对所述样本文字和所述N个组成元素进行编码， 获取所述样本文字的第二特征表示和 所述N个组成元 素各自的第三特 征表示； 获取所述N个组成元素的分割标签， 并根据 所述组成元素的分割标签、 所述第 二特征表 示和所述第三特 征表示获取 所述融合特 征表示。 3.根据权利要求2所述的方法， 其中， 所述根据所述组成元素的分割标签、 所述第二特 征表示和所述第三特 征表示获取 所述融合特 征表示， 包括： 根据任一所述组成元素的分割标签， 确定所述组成元素在所述样本文字中的位置信 息； 在所述位置信息的约束下， 根据所述第二特征表示的尺寸信息， 对所述组成元素对应 的第三特 征表示进行调整； 将调整后的所述第三特征表示和所述第二特征表示进行拼接， 获取所述融合特征表 示。 4.根据权利要求3所述的方法， 其中， 所述在所述位置信息的约束下， 根据所述第二特 征表示的尺寸信息， 对所述组成元 素对应的第三特 征表示进行调整， 包括： 响应于所述第 三特征表示的尺寸信 息与所述第二特征表示的尺寸信 息不一致， 基于所 述位置信息和所述第二特 征表示的尺寸信息， 对所述第三特 征表示的尺寸信息进行调整。 5.根据权利要求1 ‑4任一项所述的方法， 其中， 所述基于所述融合特征表示和所述第一 特征表示对文字生成模型进行训练， 以获取目标文字生成模型， 包括： 将所述融合特征表示输入所述文字生成模型， 以获取所述样本文字对应的预测文字， 并对所述预测文字进行反向回归， 得到第四特 征表示； 基于所述第 一特征表示和所述预测文字的第四特征表示， 确定所述文字生成模型的损 失函数； 根据所述损失函数对所述文字生成模型进行反 向调整， 返回调整后的所述文字生成模 型进行下一次训练， 直至训练结束生成目标文字生成模型。 6.根据权利要求5所述的方法， 其中， 所述文字生成模型包括神经网络和判别器， 所述 基于所述第一特征表 示和所述预测文字的第四特征表示， 确定所述文字生成模型的损失函 数， 包括： 基于所述第一特征表示和所述第 四特征表示， 进行基于信息的回归损 失运算， 获取所 述文字生成模型的第一损失函数；权　利　要　求　书 1/3 页 2 CN 115147850 A 2基于所述神经网络提取到的中间层特征表示， 进行感知损 失运算， 获取所述文字生成 模型的第二损失函数； 基于所述判别器对所述第 一特征表示和所述第四特征表示的判别损失运算， 获取所述 文字生成模型的第三损失函数； 基于所述第 一损失函数、 所述第 二损失函数和所述第 三损失函数确定所述文字生成模 型的损失函数。 7.根据权利要求4或6所述的方法， 其中， 获取所述N个组成元素以及所述N个组成元素 的分割标签的过程， 包括： 将所述样本文字输入语义分割网络， 获取所述N个组成元素以及所述N个组成元素的分 割标签； 或 将所述样本文字发送给标注设备， 并接收由所述标注设备发送的所述N个组成元素以 及所述N个组成元 素的分割标签。 8.一种文字生成方法， 包括： 将第一字体下的待生成文字输入到目标文字生成模型中进行文字生成， 输出所述待生 成文字对应的第二字体下的目标文字， 所述 目标文字生成模型根据如权利要求1 ‑7中任一 项的所述训练方法得到 。 9.一种文字生成模型的训练装置， 包括： 第一获取模块， 用于获取多个训练文字对， 其中， 任一所述训练文字对中包括第 一字体 下的样本文字， 和所述样本文字对应的第二字体下的参 考文字； 分割模块， 用于对所述样本文字进行分割， 获取所述样本文字的N个组成元素， 所述N为 正整数； 第二获取模块， 用于根据 所述样本文字和所述N个组成元素获取融合特征表示， 以及获 取所述参考文字的第一特 征表示； 训练模块， 用于基于所述融合特征表示和所述第一特征表示对文字生成模型进行训 练， 以获取目标文字生成模型。 10.根据权利要求9所述的装置， 其中， 所述第二获取模块， 还用于： 对所述样本文字和所述N个组成元素进行编码， 获取所述样本文字的第二特征表示和 所述N个组成元 素各自的第三特 征表示； 获取所述N个组成元素的分割标签， 并根据 所述组成元素的分割标签、 所述第 二特征表 示和所述第三特 征表示获取 所述融合特 征表示。 11.根据权利要求10所述的装置， 其中， 所述第二获取模块， 还用于： 根据任一所述组成元素的分割标签， 确定所述组成元素在所述样本文字中的位置信 息； 在所述位置信息的约束下， 根据所述第二特征表示的尺寸信息， 对所述组成元素对应 的第三特 征表示进行调整； 将调整后的所述第三特征表示和所述第二特征表示进行拼接， 获取所述融合特征表 示。 12.根据权利要求1 1所述的装置， 其中， 所述第二获取模块， 还用于， 包括： 响应于所述第 三特征表示的尺寸信 息与所述第二特征表示的尺寸信 息不一致， 基于所权　利　要　求　书 2/3 页 3 CN 115147850 A 3