(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210439125.9 (22)申请日 2022.04.25 (71)申请人 中国平安人寿保险股份有限公司 地址 518000 广东省深圳市福田区福田街 道益田路5033号平安金融中心14、 15、 16、 37、 41、 4 4、 45、 46、 54、 58、 59层 (72)发明人 黄海龙　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 谭晓欣 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/253(2020.01) G06F 40/247(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于对比学习的语义识别模 型训练方法、 设 备和介质 (57)摘要 本申请涉及深度学习技术领域， 提出了一种 基于对比学习的语义识别模型训练方法、 设备和 介质， 方法包括： 在所述原始句子文本中对每一 个所述第一目标词汇进行同义词替换， 得到第一 处理句子文本； 以及， 在所述原始句子文本中对 每一个所述第二目标词汇进行反义词替换， 得到 第二处理句子文本； 通过所述原始句子文本、 所 述第一处理句子文本和所述第二处理句子文本 对初始的语义识别模型进行训练， 以得到目标语 义识别模型。 本发明实施例目的是提供能够识别 语义微小变化的对比学习方法， 针对之前正负样 本比较好区分的问题进行了改造， 使得模型能够 学习到更丰富的知识， 提升模型训练效果。 权利要求书3页 说明书14页 附图6页 CN 114722834 A 2022.07.08 CN 114722834 A 1.一种基于对比学习的语义识别模型训练方法， 其特 征在于， 所述方法包括： 获取待处 理的原始句子文本； 根据所述原 始句子文本中各个词汇的词性， 在所述原 始句子文本中确定N个候选词汇； 从所述N个候选词汇中选取M个词汇作为第一目标词 汇以及选取T个词汇作为第 二目标 词汇， 其中， N、 M和T满足以下 数值关系式： 1＜ T＜M＜N； 在所述原始句子文本中， 对每一个所述第一目标词汇进行同义词替换， 得到第一处理 句子文本； 在所述原始句子文本中， 对每一个所述第二目标词汇进行反义词替换， 得到第二处理 句子文本； 通过所述原始句子文本、 所述第 一处理句子文本和所述第 二处理句子文本对初始的语 义识别模型进行训练， 以得到目标语义识别模型。 2.根据权利要求1所述的方法， 其特征在于， 所述通过所述原始句子文本、 所述第一处 理句子文本和所述第二处理句子文本对初始的语义识别模型进行训练， 以得到目标语义识 别模型， 包括： 将所述原始句子文本、 所述第 一处理句子文本和所述第 二处理句子文本分别 输入到初 始的语义识别模型， 得到对应于所述原始句 子文本的原始语义向量、 对应于所述第一处理 句子文本的第一处 理语义向量和对应于所述第二处 理句子文本的第二处 理语义向量； 基于所述原 始语义向量和所述第一处 理语义向量计算第一损失值； 基于所述原 始语义向量和所述第二处 理语义向量计算第二损失值； 基于所述第一损失值和所述第二损失值确定是否满足预设的训练结束条件； 在不满足训练结束条件时， 调整所述语义识别模型的模型参数， 并通过所述原始句子 文本、 所述第一处理句子文本和所述第二处理句子文本继续对调整后的语义识别模型进 行 训练； 在满足训练结束条件时， 将当前的语义识别模型作为目标语义识别模型。 3.根据权利要求2所述的方法， 其特征在于， 所述语义识别 模型包括BERT编码网络和语 义预测网络； 所述将所述原始句子文本、 所述第 一处理句子文本和所述第 二处理句子文本分别输入 到初始的语义识别模型， 得到对应于所述原始句子文本的原始语义向量、 对应于所述第一 处理句子文本的第一处理语义向量和对应于所述第二处理句子文本的第二处理语义向量， 包括： 将所述原始句子文本、 所述第一处理句子文本和所述第二处理句子文本分别输入到 BERT编码网络， 得到对应于所述原始句子文本的原始句编码向量、 对应于所述第一处理句 子文本的第一处理句编 码向量和对应于所述第二处理句子文本的第二处理句编 码向量； 其 中， 所述原始句编码向量、 所述第一处理句编码向量和所述第二处理句编码向量分别包括 多个token； 将所述原始句编码向量、 所述第 一处理句编码向量和所述第 二处理句编码向量输入所 述语义预测网络， 得到对应于所述原始句 子文本的原始语义向量、 对应于所述第一处理句 子文本的第一处 理语义向量和对应于所述第二处 理句子文本的第二处 理语义向量。 4.根据权利要求3所述的方法， 其特 征在于， 所述语义识别模型还 包括token判别网络；权　利　要　求　书 1/3 页 2 CN 114722834 A 2所述方法还 包括： 将所述第一处理句编码向量和所述第二处理句编码向量分别输入到token判别 网络， 得到对应于所述第一处理句编码向量的第一t oken标签序列和对应于所述第二处理句编码 向量的第二token标签序列， 其中， 所述第一token标签序列用于指示所述第一处理句编码 向量中与所述原始句编码向量存在区别的t oken位置， 所述第二t oken标签序列用于指示所 述第二处 理句编码向量中与所述原 始句编码向量存在区别的to ken的位置； 在将所述原始句编码向量、 所述第 一处理句编码向量和所述第 二处理句编码向量输入 所述语义预测网络时， 还将所述第一token标签序列和所述第二t oken标签序列输入所述语 义预测网络， 以使所述语义预测网络基于所述第一token标签序列和所述第二token标签序 列输出原 始句编码向量、 第一处 理语义向量和第二处 理语义向量。 5.根据权利要求2所述的方法， 其特征在于， 所述基于所述第 一损失值和所述第 二损失 值确定是否满足预设的训练结束条件， 包括： 将所述第一损失值与最小化收敛值进行比较， 以及将所述第 二损失值与最大化收敛值 进行比较； 在所述第一损失值小于等于最小化收敛值、 且所述第 二损失值大于等于最大化收敛值 时， 确定满足预设的训练结束条件。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述原始句子文本 中各个词汇的 词性， 在所述原 始句子文本中确定N个候选词汇， 包括： 通过预训练好的词性标注模型对所述原始句子文本 中的各个词汇进行词性标注， 得到 所述原始句子文本中各个词汇的词性； 在所述原 始句子文本中， 将词性 为预设词性的词汇确定为 候选词汇； 所述预设词性包括形容词和动词中的至少一项。 7.根据权利要求1所述的方法， 其特征在于， 所述从所述N个候选词汇中选取M个词汇作 为第一目标词汇以及选取T个词汇作为第二目标词汇， 包括： 按照预设第一比例从N个候选词汇中随机 选取M个词汇作为第一目标词汇； 以及， 按照预设第二比例从N个候选词汇中随机 选取T个词汇作为第二目标词汇； 其中， 所述第二比例小于所述第一比例。 8.一种基于对比学习的语义识别模型训练系统， 其特 征在于， 所述系统包括： 获取模块， 用于获取待处 理的原始句子文本； 确定模块， 用于根据所述原始句子文本中各个词汇的词性， 在所述原始句子文本中确 定N个候选词汇； 选取模块， 用于从所述N个候选词汇中选取M个词汇作为第一目标词汇以及选取T个词 汇作为第二目标词汇， 其中， N、 M和T满足以下 数值关系式： 1＜ T＜M＜N； 第一替换处理模块， 用于在所述原始句子文本中， 对每一个所述第一目标词汇进行同 义词替换， 得到第一处 理句子文本； 第二替换处理模块， 用于在所述原始句子文本中， 对每一个所述第二目标词汇进行反 义词替换， 得到第二处 理句子文本； 训练模块， 用于通过所述原始句子文本、 所述第一处理句子文本和所述第二处理句子 文本对初始的语义识别模型进行训练， 以得到目标语义识别模型。权　利　要　求　书 2/3 页 3 CN 114722834 A 3