(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210348583.1 (22)申请日 2022.04.01 (71)申请人 北京健康之家科技有限公司 地址 100102 北京市朝阳区利泽中二路2号 C座二层201 (72)发明人 侯盼盼　黄明星　王福钋　张航飞　 徐华韫　曹富康　沈鹏　 (74)专利代理 机构 北京汇思诚业知识产权代理 有限公司 1 1444 专利代理师 罗艳 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/35(2019.01) G06F 40/30(2020.01)G06K 9/62(2022.01) (54)发明名称 自然语言理解模型的训练方法、 装置、 终端 设备、 介质及用户意图判断方法 (57)摘要 本申请实施例提出了一种 自然语言理解模 型的训练方法、 装置、 终端设备、 介质及用户意图 判断方法， 其中， 上述训练方法中， 获取增量模 型， 所述增量模型包括骨干网络和第一分类器； 在所述骨干网络中至少一层神经网络上以分支 形式添加第二分类器； 获取样本集， 重复执行训 练步骤， 直到满足预设条件， 所述样本集包括多 个样本文本； 所述训练步骤， 包括： 将样本文本输 入所述增量模 型中， 获取所述第一分类器输出的 第一意图分布、 以及所述第二分类器输出的第二 意图分布； 计算所述第一意图分布与所述第二意 图分布之间的差异， 依据所述差异调整所述第二 分类器， 得到的模型可以大幅度减少推理时间， 提升推理效率， 同时保持预测精度不降低。 权利要求书2页 说明书9页 附图3页 CN 114819062 A 2022.07.29 CN 114819062 A 1.一种自然语言理解模型的训练方法， 其特 征在于， 包括： 获取增量模型， 所述增量模型包括骨干网络和第一分类 器； 在所述骨干网络中至少一层神经网络上以分支形式添加第二分类 器； 获取样本集， 重复执 行训练步骤， 直到满足预设条件， 所述样本集包括多个样本文本； 所述训练步骤， 包括： 将样本文本输入所述增量模型中， 获取所述第 一分类器输出的第 一意图分布、 以及所述第二分类 器输出的第二 意图分布； 计算所述第 一意图分布与 所述第二意图分布之间的差异， 依据 所述差异调 整所述第 二 分类器。 2.根据权利要求1所述方法， 其特 征在于， 所述骨干网络包括嵌入层和变换层。 3.根据权利要求2所述方法， 其特征在于， 所述在所述骨干网络中至少一层神经网络上 以分支形式添加第二分类 器， 包括： 以分支形式为所述变换层中除最后一层外的每层神经网络都添加第二分类 器。 4.根据权利要求3所述方法， 其特征在于， 将样本文本输入所述增量模型中， 获取所述 第一分类 器输出的第一 意图分布、 以及所述第二分类 器输出的第二 意图分布， 包括： 将所述样本文本输入所述增量模型中， 获取所述第一分类器输出的第一意图分布、 及 每一所述第二分类 器输出的意图分布； 计算所述第一 意图分布与每一所述第二分类 器的意图分布之间的差异； 对所有差异进行求和， 得到总损失， 依据所述总损失调整所有所述第二分类 器。 5.一种用户意图判断方法， 其特 征在于， 包括： 将用户文本输入自然语言理解模型， 所述自然语言理解模型中包括多个分类器， 所述 分类器用于判断文本的意图； 沿所述自然语言理解模型的神经网络层序获取分类器的输出， 当分类器的输出结果满 足阈值， 停止所述自然语言理解模型； 将满足所述阈值的分类 器输出的意图作为用户意图； 其中， 所述自然语言理解模型包括： 执行如权1至4的任一项训练方法得到所述自然语 言理解模型。 6.根据权利要求5所述的方法， 其特 征在于， 所述当 分类器的输出 结果满足阈值， 包括： 当任一分类 器的输出 结果中， 存在意图的概 率大于所述阈值。 7.一种自然语言理解模型的训练装置， 设置在终端设备中， 其特征在于， 所述训练装置 包括： 获取模块， 用于获取增量模型， 所述增量模型包括骨干网络和第一分类 器； 添加模块， 用于在所述骨干网络中至少一层神经网络上以分支形式添加第二分类 器； 训练模块， 用于获取样本集， 重复执行训练步骤， 直到满足预设条件， 所述样本集包括 多个样本文本； 所述训练步骤， 包括： 将样本文本输入所述增量模型中， 获取所述第一分类 器输出的第一意图分布、 以及所述第二分类器输出 的第二意图分布； 计算所述第一意图分 布与所述第二 意图分布之间的差异， 依据所述差异调整所述第二分类 器。 8.一种用户意图判断装置， 设置在终端设备中， 其特征在于， 所述用户意图判断装置包 括： 输入模块， 用于将用户文本输入自然语言理解模型， 所述自然语言理解模型中包括多权　利　要　求　书 1/2 页 2 CN 114819062 A 2个分类器， 所述分类 器用于判断文本的意图； 判断模块， 用于沿所述自然语言理解模型的神经网络层序获取分类器的输出， 当分类 器的输出 结果满足阈值， 停止所述自然语言理解模型； 用户意图确定模块， 用于将满足所述阈值的分类 器输出的意图作为用户意图； 其中， 所述自然语言理解模型包括： 执行如权1至4的任一项训练方法得到所述自然语 言理解模型。 9.一种终端设备， 其特 征在于， 包括： 至少一个处 理器； 以及 与所述处 理器通信连接的至少一个存 储器， 其中： 所述存储器存储有可被所述处理器执行的程序指令， 所述处理器调用所述程序指令能 够执行如权利要求1至 6任一所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储计算机指令， 其特征在 于， 所述计算机指令使所述计算机执 行如权利要求1至 6任一所述的方法。权　利　要　求　书 2/2 页 3 CN 114819062 A 3