(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513283.4 (22)申请日 2022.05.12 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 李明哲　林谢雄　昌晋雄　张祺深　 刘忠义　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 谢层层　徐焕 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/295(2020.01) G06N 20/00(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 模型训练方法、 文本处理方法、 装置和计算 机设备 (57)摘要 本说明书实施例公开了一种模 型训练方法、 文本处理方法、 装置和计算机设备。 所述模型训 练方法包括： 获取原始文本、 正样本和负样本， 正 样本和负样 本为原始文本的改写文本； 通过编码 器， 确定原始文本对应的第一分布参数、 正样本 对应的第二分布参数和负样本对应的第三分布 参数， 第一分布参数用于 限定第一语义分布， 第 二分布参数用于限定第二语义分布， 第三分布参 数用于限定第三语义分布； 根据第一分布参数、 第二分布 参数和第三分布参数， 通过损失函数优 化编码器的模型参数， 所述损失函数包括第一 项， 所述第一项用于约束第一语义分布与第二语 义分布之间的相似程度大于第一语义分布与第 三语义分布之间的相似程度。 本说明书实施例可 以提高模型训练效果。 权利要求书2页 说明书11页 附图3页 CN 114896983 A 2022.08.12 CN 114896983 A 1.一种模型训练方法， 包括： 获取原始文本、 正样本和负 样本， 所述 正样本和所述负 样本为原 始文本的改写 文本； 通过编码器， 确定原始文本对应的第一分布参数、 正样本对应的第二分布参数和负样 本对应的第三分布参数， 所述第一分布参数用于限定第一语义分布， 所述第二分布参数用 于限定第二语义分布， 所述第三分布参数用于限定第三语义分布； 根据第一分布参数、 第二分布参数和第三分布参数， 通过损 失函数优化编码器的模型 参数， 所述损失函数包括第一项， 所述第一项用于约束第一语义分布与第二语义分布之间 的相似程度大于第一语义分布与第三语义分布之间的相似程度。 2.根据权利要求1所述的方法， 所述编码器包括第 一编码器和第 二编码器， 所述第 一编 码器为文本生成模型中的编码器， 所述第二编码器用于 辅助文本生成模型的训练； 在获取第一分布参数、 第二分布参数和第三分布参数的步骤中包括： 通过第一编码器， 获取原 始文本对应的第一分布参数； 通过第二编码器， 获取正样本对应的第二分布参数和负 样本对应的第三分布参数。 3.根据权利要求2所述的方法， 在获取第一分布参数的步骤中包括： 将原始文本中的关键词和原 始文本合并后输入第一编码器， 得到第一分布参数； 在获取第二分布参数和第三分布参数的步骤中包括： 将原始文本、 正样本对应的标签和正样本合并后输入第二编码器， 得到第二分布参数； 将原始文本、 负 样本对应的标签和负 样本合并后输入第二编码器， 得到第三分布参数。 4.根据权利要求1所述的方法， 所述方法还 包括： 根据原始文本、 正样本和负样本， 分别确定原始关键词、 正样本关键词和负样本关键 词； 在优化编码器的模型参数的步骤中包括： 根据原始关键词、 正样本关键词和负样本关键词， 通过损 失函数优化编码器的模型参 数， 所述损失函数还包括第二项， 所述第二项用于约束原始关键词与正样本关键词之间的 相似程度大于原 始关键词与负 样本关键词之间的相似程度。 5.根据权利要求 4所述的方法， 在确定负 样本关键词的步骤中包括： 从负样本中提取关键词作为 参考关键词； 根据参考关键词和正样本关键词， 构建 关键词网络； 从关键词网络中选择与正样本关键词相邻的一个或多个参 考关键词； 根据选择的一个或多个参 考关键词， 构建负 样本关键词。 6.根据权利要求4所述的方法， 所述损失函数还包括第 三项， 所述第 三项用于约束第 一 语义分布与正样本关键词之间的距离小于第一语义分布与负 样本关键词之间的距离 。 7.根据权利要求1所述的方法， 第 一分布参数、 第 二分布参数和第 三分布参数分别包括 均值和方差， 第一语义分布、 第二语义分布和第三语义分布为 正态分布。 8.根据权利要求1所述的方法， 所述方法还 包括： 在第一语义分布中进行采样， 得到隐变量； 将隐变量输入解码器； 根据解码器的输出和正样本， 通过损 失函数优化解码器的模型参数， 所述损 失函数还 包括第四项， 所述第四项用于约束解码器的输出与正样本之间的差异程度。权　利　要　求　书 1/2 页 2 CN 114896983 A 29.一种文本处 理方法， 包括： 将原始文本输入编码器， 得到分布参数， 所述编码器根据权利要求1 ‑7中任一项方法训 练得到， 所述分布参数用于限定语义分布； 在语义分布中进行采样， 得到隐变量； 将隐变量输入解码器， 得到改写 文本。 10.根据权利要求9所述的方法， 所述 解码器根据权利要求8所述的方法训练得到 。 11.一种模型训练装置， 包括： 获取单元， 用于获取原始文本、 正样本和负样本， 所述正样本和所述负样本为原始文本 的改写文本； 确定单元， 用于通过编码器， 确定原始文本对应的第 一分布参数、 正样本对应的第二分 布参数和负样本对应的第三分布参数， 所述第一分布参数用于限定第一语义分布， 所述第 二分布参数用于限定第二语义分布， 所述第三分布参数用于限定第三语义分布； 优化单元， 用于根据第一分布参数、 第二分布参数和第 三分布参数， 通过损失函数优化 编码器的模型参数， 所述损失函数包括第一项， 所述第一项用于约束第一语义分布与第二 语义分布之间的相似程度大于第一语义分布与第三语义分布之间的相似程度。 12.一种文本处 理装置， 包括： 第一输入单元， 用于将原始文本输入编码器， 得到分布参数， 所述编码器根据权利要求 1‑7中任一项方法训练得到， 所述分布参数用于限定语义分布； 采样单元， 用于在语义分布中进行采样， 得到隐变量； 第二输入单 元， 用于将隐变量输入解码器， 得到改写 文本。 13.一种计算机设备， 包括： 至少一个处 理器； 存储有程序指令的存储器， 其中， 所述程序指令被配置为适于由所述至少一个处理器 执行， 所述程序指令包括用于执 行根据权利要求1 ‑10中任一项所述方法的指令 。权　利　要　求　书 2/2 页 3 CN 114896983 A 3