(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210749786.1 (22)申请日 2022.06.28 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 黄晗　吴高　刘威　李志锋　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06T 11/00(2006.01) G06T 11/60(2006.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本信息处理方法、 装置、 服务器、 存储介质 及程序产品 (57)摘要 本公开提供了一种文本信息处理方法、 装 置、 服务器、 存储介质及程序产品， 可应用于云技 术、 人工智能、 智慧交通、 辅助驾驶等各种场景。 所述方法包括： 提取样本文字内容特征和样本风 格特征； 将样本文字内容特征和样 本风格特征进 行多次特征融合， 得到样本级联融合特征， 样本 级联融合特征为文字内容及风格样式均增强的 特征； 基于样本文本信息、 样本风格图片、 样本文 字内容特征及样本级联融合特征， 训练字体生成 模型。 本公开将提取的样本文字内容特征和样本 风格特征进行多次融合， 融合得到的样本级 联融 合特征中文字内容及风格样式均被增强， 基于该 样本级联融合特征所训练的字体生成模型精度 更高， 基于该模型生成的风格迁移图片效果更 佳。 权利要求书3页 说明书17页 附图6页 CN 115147507 A 2022.10.04 CN 115147507 A 1.一种文本信息处 理方法， 其特 征在于， 所述方法包括： 提取样本文本信息和样本风格图片的特征， 得到样本文字内容特征和样本风格特征， 所述样本风格图片为样本特效图片或样本文字图片， 所述样本文字图片包含除所述样本文 本信息以外的其 他样本文本信息中的文字； 将所述样本文字内容特征和所述样本风格特征进行特征融合， 得到第一样本融合特 征； 将所述第一样本 融合特征与 所述样本文字 内容特征进行特征融合， 得到第 二样本融合 特征； 将所述样本风格特征、 所述第一样本融合特征及所述第二样本融合特征进行特征融 合， 得到样本级联融合特 征， 所述样本级联融合特 征为文字内容及风格样式均增强的特 征； 基于所述样本文本信息、 所述样本风格图片、 所述样本文字内容特征及所述样本级联 融合特征， 训练字体生成模 型， 得到训练后的字体生成模型， 所述训练后的字体生成模型用 于生成具有任一 风格图片的风格样式的风格迁移文字图片。 2.根据权利要求1所述的方法， 其特征在于， 在所述样本风格图片为样本特效图片的情 况下， 所述将所述样本文字内容特征和所述样本风格特征进行特征融合， 得到第一样本融 合特征之前， 还 包括： 提取所述样本特效图片对应的平滑掩版图片的特征， 得到掩版内容特征， 所述平滑掩 版图片为能够突显所述样本特效图片风格的图片； 将所述样本风格特 征与所述掩版内容特 征进行特征融合， 得到掩版融合特 征； 所述将所述样本文字 内容特征和所述样本风格特征进行特征融合， 得到第 一样本融合 特征， 包括： 将所述掩版融合特征、 所述样本文字内容特征及所述样本风格特征进行特征融合， 得 到所述第一样本融合特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述提取所述样本特效图片对应的平滑掩 版图片的特 征， 得到掩版内容特 征之前， 还 包括： 对所述样本特效图片上用于突显所述样本特效图片风格的目标区域进行分割， 得到特 效掩版图片； 对所述特效掩版图片进行平 滑处理， 得到所述平 滑掩版图片。 4.根据权利要求1所述的方法， 其特征在于， 所述字体生成模型中用于进行特征融合的 网络结构包括可变形 卷积层， 所述方法还 包括： 将所述样本风格特 征作为所述可变形 卷积层中卷积核的权 重值； 基于所述卷积核的权 重值对不同特 征进行卷积操作， 得到相应融合特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述卷积核的权重值对不同特征 进行卷积操作， 得到相应融合特 征， 包括： 基于所述卷积核的权重值， 对所述样本文字内容特征和所述样本风格特征进行卷积操 作， 得到所述第一样本融合特 征； 基于所述卷积核的权重值， 对所述第 一样本融合特征与 所述样本文字 内容特征进行卷 积操作， 得到第二样本融合特 征； 基于所述卷积核的权重值， 对所述样本风格特征、 所述第一样本融合特征及所述第二权　利　要　求　书 1/3 页 2 CN 115147507 A 2样本融合特 征进行卷积操作， 得到所述样本级联融合特 征。 6.根据权利要求1所述的方法， 其特征在于， 所述基于所述样本文本信息、 所述样本风 格图片、 所述样 本文字内容特征及所述样本级联融合特征， 训练字体生成模型， 得到训练后 的字体生成模型， 包括： 对所述样本级联融合特 征进行解码， 得到第一 风格迁移文字图片； 调用所述字体生成模型， 对所述样本风格图片和所述第 一风格迁移文字图片进行真实 性识别， 得到第一识别结果和第二识别结果； 提取所述第一 风格迁移文字图片的文字内容特 征， 得到迁移文字内容特 征； 以包含所述样本文本信息中文字的样本文字图片为风格图片， 调用所述字体生成模 型， 对所述样本文本信息和包含所述样本文本信息中文字的样本文字图片进行处理， 得到 第二风格迁移文字图片； 基于包含所述样本文本信息中文字的样本文字 图片、 所述第二风格迁移文字 图片、 所 述第一识别结果、 所述第二识别结果、 所述样 本文字内容特征、 所述迁移文字内容特征及目 标损失函数， 对所述字体生成模型的模型参数进行调整， 得到所述训练后的字体生成模型。 7.根据权利要求6所述的方法， 其特征在于， 所述目标损 失函数包括对抗损 失函数、 内 容损失函数及重建损失函数， 所述基于包含所述样本文本信息中文字的样本文字图片、 所 述第二风格迁移文字图片、 所述第一识别结果、 所述第二识别结果、 所述样本文字内容特 征、 所述迁移文字内容特征及目标损失函数， 对所述字体生成模型的模型参数进 行调整， 得 到所述训练后的字体生成模型， 包括： 将所述第一识别结果和所述第 二识别结果输入到所述对抗损失函数中、 将所述迁移文 字内容特征和所述样本文字内容特征输入到所述内容损失函数中、 将所述包含所述样本文 本信息中文字的样本文字图片和所述第二风格迁移文字图片输入到所述重 建损失函数中， 输出对抗损失函数值、 内容损失函数值及重建损失函数值； 基于所述对抗损 失函数值、 所述内容损 失函数值及所述重建损 失函数值， 对所述字体 生成模型的模型参数进行调整， 得到所述训练后的字体生成模型； 其中， 所述对抗损 失函数为确保所述第一风格迁移文字 图片为真实图片的函数， 所述 内容损失函数为确保所述第一风格迁移文字图片和所述样本文本信息的内容一致的函数， 所述重建损失函数为确保所述包含所述样本文本信息中文字的样本文字图片与所述第二 风格迁移文字图片为同一图片的函数。 8.一种文本信息处理方法， 其特征在于， 所述方法应用于权利要求1至7中任一项所训 练的字体生成模型， 所述方法包括： 获取具有待迁移风格样式的风格图片和待处 理文本信息； 调用所述字体生成模型， 对所述风格图片和所述待处理文本信息进行处理， 得到风格 迁移文字图片。 9.一种文本信息处 理装置， 其特 征在于， 所述装置包括： 提取模块， 用于提取样本文本信息和样本风格图片的特征， 得到样本文字内容特征和 样本风格特征， 所述样本风格图片为样本特效图片或样本文字图片， 所述样本文字图片包 含除所述样本文本信息以外的其 他样本文本信息中的文字； 融合模块， 用于将所述样本文字内容特征和所述样本风格特征进行特征融合， 得到第权　利　要　求　书 2/3 页 3 CN 115147507 A 3