(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210506092.5 (22)申请日 2022.05.11 (71)申请人 平安科技 （深圳） 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 陶德威　王健宗　于凤英　程宁　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 沈克琪 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 文本评价方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能领域， 公开了一种文本 评价方法、 装置、 设备及存储介质， 方法包括： 获 取待评价的目标文本， 以及用于评价目标文本的 参考文本； 其中， 目标文本预先由文本生成模型 输出； 基于目标文本的文本特征和参考文本的文 本特征， 确定目标文本和参考文本的映射关系； 其中， 映射关系中包括： 目标文本中的字符与参 考文本之间的置信度， 或者参考文本中的字符与 目标文本之间的置信度； 基于映射关系， 生成目 标文本的评价结果。 该方式下， 从字符特征、 参考 文本全局特征方面充分考虑了生成文本与参考 文本之间语义内容的相似性， 客观而准确的评价 了生成文本的质量。 权利要求书2页 说明书10页 附图4页 CN 114757205 A 2022.07.15 CN 114757205 A 1.一种文本 评价方法， 其特 征在于， 所述文本 评价方法包括： 获取待评价的目标文本， 以及用于评价所述目标文本的参考文本； 其中， 所述目标文本 预先由文本生成模型输出； 基于所述目标文本的文本特征和所述参考文本的文本特征， 确定所述目标文本和所述 参考文本的映射关系； 其中， 所述映射关系中包括： 所述目标文本中的字 符与所述参考文本 之间的置信度， 或者所述 参考文本中的字符与所述目标文本之间的置信度； 基于所述映射关系， 生成所述目标文本的评价结果。 2.根据权利要求1所述的文本评价方法， 其特征在于， 基于所述目标文本的文本特征和 所述参考文本的文本特 征， 确定所述目标文本和所述 参考文本的映射关系的步骤， 包括： 获取所述目标文本中每个字符的字符特征， 以及所述参考文件中每个字符的字符特 征； 针对所述目标文本 中的每个字符， 将当前字符的字符特征与 所述参考文件中的每个字 符的字符特 征进行对比， 得到相似度； 将最大的相似度确定为所述当前字符的置信度； 将所述目标文本的每个字符的相似度确定为所述目标文本映射至所述参考文本的映 射关系。 3.根据权利要求1所述的文本评价方法， 其特征在于， 基于所述目标文本的文本特征和 所述参考文本的文本特 征， 确定所述目标文本和所述 参考文本的映射关系的步骤， 包括： 将所述目标文本和所述 参考文本进行拼接处 理， 得到拼接文本； 将所述拼接文本 输入至预训练的语言表征模型， 输出 所述拼接文本的文本特 征； 将所述文本特 征输入至预设的多层感知机层， 输出中间结果； 将所述中间结果输入至预设的激活函数， 得到目标文本和所述 参考文本的映射关系。 4.根据权利要求3所述的文本评价方法， 其特征在于， 所述语言表征模型通过预设的训 练样本集训练得到； 所述训练样本集包括多组训练样本对； 所述训练样本对的样本标签用 于： 指示所述训练样本对中的文本样本之间的置信度； 其中， 如果所述训练样本对中包括样本文本和所述样本文本的样本摘要， 所述训练样 本对对应的置信度为一； 如果所述训练样本对象中包括样本文本和与所述样本文本无关的 文本， 所述训练样本对 对应的置信度为 零。 5.根据权利要求1所述的文本评价方法， 其特征在于， 所述参考文本包括标准文本和所 述目标文本的原 始文本； 基于所述映射关系， 生成所述目标文本的评价结果的步骤， 包括： 如果所述目标文本为原始文本的压缩文本， 获取所述目标文本映射至所述原始文本的 第一映射关系， 以及所述标准文本映射至所述目标文本的第二映射关系； 计算所述第 一映射关系中各个置信度的第 一平均值， 以及所述第 二映射关系中各个置 信度的第二平均值； 将所述第一平均值和所述第二平均值的乘积， 确定为所述目标文本的评价结果。 6.根据权利要求1所述的文本评价方法， 其特征在于， 基于所述映射关系， 生成所述目 标文本的评价结果的步骤， 包括： 如果所述目标文本为所述参考文本的重写文本， 获取所述目标文本映射至所述参考文 本的第一映射关系， 以及所述 参考文本映射至所述目标文本的第二映射关系； 计算所述第 一映射关系中各个置信度的第 一平均值， 以及所述第 二映射关系中各个置权　利　要　求　书 1/2 页 2 CN 114757205 A 2信度的第二平均值； 将所述第一平均值和所述第二平均值的乘积， 确定为所述目标文本的评价结果。 7.根据权利要求1所述的文本评价方法， 其特征在于， 基于所述映射关系， 生成所述目 标文本的评价结果的步骤， 包括： 如果所述目标文本为所述参考文本的答案文本， 获取所述目标文本映射至所述参考文 本的第一映射关系； 其中， 所述 参考文本包括： 原 始文本和问题文本； 将所述第一映射关系中各个置信度的和， 确定为所述目标文本的评价结果。 8.一种文本 评价装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于获取待评价的目标文本， 以及用于评价所述目标文本的参考文本； 其中， 所述目标文本预 先由文本生成模型输出； 第一确定模块， 用于基于所述目标文本的文本特征和所述参考文本的文本特征， 确定 所述目标文本和所述参考文本的映射关系； 其中， 所述映射关系中包括： 所述目标文本中的 字符与所述参考文本之 间的置信度， 或者所述参考文本中的字符与所述目标文本之 间的置 信度； 第一生成模块， 用于基于所述映射关系， 生成所述目标文本的评价结果。 9.一种文本评价设备， 其特征在于， 所述文本评价设备包括： 存储器和至少一个处理 器， 所述存 储器中存 储有指令； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述密码安全性的检测设 备执行如权利要求1 ‑7中任意一项所述的文本 评价方法。 10.一种计算机可读存储介质， 其上存储有指令， 其特征在于， 所述指令被处理器执行 时实现如权利要求1 ‑7中任意一项所述的文本 评价方法。权　利　要　求　书 2/2 页 3 CN 114757205 A 3