(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210347404.2 (22)申请日 2022.04.01 (71)申请人 北京健康之家科技有限公司 地址 100102 北京市朝阳区利泽中二路2号 C座二层201 (72)发明人 侯盼盼　黄明星　王福钋　张航飞　 徐华韫　曹富康　沈鹏　 (74)专利代理 机构 北京汇思诚业知识产权代理 有限公司 1 1444 专利代理师 罗艳 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 40/30(2020.01) G06F 16/33(2019.01) (54)发明名称 语言表征模 型的训练方法、 装置、 设备、 介质 及用户响应方法 (57)摘要 本申请实施例提出了语言表征模型的训练 方法、 装置、 设备、 介质及用户响应方法， 其中， 上 述训练方法中， 获取样本集合， 每个样本中包括 第一语句、 第二语句及相似标签； 将第一语句输 入第一基础模型， 以获取第一表征向量； 将第二 语句输入第二基础模型， 以获取第二表征向量； 计算第一表征向量和第二表征向量之间的距离， 以获得距离向量； 将第一表征向量、 第二表征向 量和距离向量进行拼接， 将拼接获得的向量输入 分类层， 获取预测结果； 计算预测结果与相似标 签之间的差值， 依据差值调整所述第一基础模型 和所述第二基础模型的参数， 以训练出一个语言 表征模型， 该模 型可以生 成表征能力更强大的向 量， 体现句子更精准的语义。 权利要求书2页 说明书11页 附图5页 CN 114723008 A 2022.07.08 CN 114723008 A 1.一种语言表征模型的训练方法， 其特 征在于， 包括： 获取样本集 合， 每个样本中包括第一语句、 第二语句及相似标签； 将所述第一语句输入第一基础模型， 以获取第一表征向量； 将所述第 二语句输入第二基础模型， 以获取第 二表征向量， 其中， 所述第 二基础模型是 复制所述第一基础模型 得到的； 计算所述第一表征向量和所述第二表征向量之间的距离， 以获得距离向量； 将所述第一表征向量、 所述第二表征向量和所述距离向量进行拼接， 将拼接获得的向 量输入分类层， 获取 预测结果； 计算所述预测结果与相似标签之间的差值， 依据 所述差值调 整所述第 一基础模型和所 述第二基础模型的参数。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取至少两个语句， 对每一语句进行数据增强， 获取每一语句对应的增强数据集， 每一 所述增强数据集中至少包括两个 语义相同的增强语句； 将同一增强数据集中的两个增强语句作为正样本， 将不同增强数据集中的两个增强语 句作为负 样本； 收集多个正样本及多个负 样本， 构建所述样本集 合。 3.一种用户响应方法， 其特 征在于， 包括： 获取知识库中的所有句子， 利用语言表征模型将每一句子转换为表征向量； 接收用户查询语句， 利用语言表征模型将所述用户查询语句转换为 查询表征向量； 计算所有表征向量与所述 查询表征向量的相似度， 以查找最相似的表征向量； 将所述最相似的表征向量对应的句子作为所述用户查询语句的响应 语句； 其中， 所述语言表征模型包括： 执行如权1至2的任一项训练方法得到所述语言表征模 型。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法还 包括： 对所述用户查询语句分词， 以获取多个词； 将所述多个词输入所述语言表征模型， 得到多个词表征向量； 计算每一词表征向量与所述 查询表征向量的相似度， 以查询最相似的词表征向量； 将所述最相似的词表征向量对应的词作为用户意图。 5.一种语言表征模型的训练装置， 设置在终端设备中， 其特征在于， 所述训练装置包 括： 获取模块， 用于获取样本集 合， 每个样本中包括第一语句、 第二语句及相似标签； 第一基础模型， 用于将所述第一语句转换为第一表征向量； 第二基础模型， 用于将所述第 二语句输入转换为第 二表征向量， 其中， 所述第 二基础模 型是复制所述第一基础模型 得到的； 计算模块， 用于计算所述第一表征向量和所述第二表征向量之间的距离， 以获得距离 向量； 分类层， 用于将所述第一表征向量、 所述第二表征向量和所述距离向量进行拼接， 通过 拼接获得的向量 生成预测结果； 调整模块， 用于计算所述预测结果与相似标签之间的差值， 依据所述差值调整所述第权　利　要　求　书 1/2 页 2 CN 114723008 A 2一基础模型和所述第二基础模型的参数。 6.根据权利要求5所述的装置， 其特 征在于， 还 包括： 增强模块， 用于获取至少两个语句， 对每一语句进行数据增强， 获取每一语句对应的增 强数据集， 所述增强数据集中至少包括两个 语义相同的增强语句； 样本生成模块， 用于将同一增强数据集中的两个增强语句作为正样本， 将不同增强数 据集中的两个增强语句作为负 样本； 样本集合构建模块， 用于收集多个正样本及多个负 样本， 构建所述样本集 合。 7.一种用户响应装置， 设置在终端设备中， 其特 征在于， 所述用户响应装置包括： 第一转换模块， 用于获取知识库中的所有句子， 利用语言表征模型将每一句子转换为 表征向量； 第二转换模块， 用于接收用户查询语句， 利用语言表征模型将所述用户查询语句转换 为查询表征向量； 查找模块， 用于计算所有表征向量与所述查询表征向量的相似度， 以查找最相似的表 征向量； 响应模块， 用于将所述最相似的表征向量对应的句子作为所述用户查询语句的响应语 句； 其中， 所述语言表征模型包括： 执行如权1至2的任一项训练方法得到所述语言表征模 型。 8.根据权利要求7 所述的装置， 其特 征在于， 还 包括： 分词模块， 用于对所述用户查询语句分词， 以获取多个词； 第三转换模块， 用于将所述多个词输入所述语言表征模型， 得到多个词表征向量； 第二查找模块， 用于计算每一词表征向量与所述查询表征向量的相似度， 以查询最相 似的词表征向量； 用户意图确定模块， 用于将所述 最相似的词表征向量对应的词作为用户意图。 9.一种终端设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述处 理器通信连接的至少一个存 储器， 其中： 所述存储器存储有可被所述处理器执行的程序指令， 所述处理器调用所述程序指令能 够执行如权利要求1至4任一所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储计算机指令， 其特征在 于， 所述计算机指令使所述计算机执 行如权利要求1至4任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114723008 A 3