(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210282008.6 (22)申请日 2022.03.21 (71)申请人 达闼机器人股份有限公司 地址 200245 上海市闵行区中青路207号8 幢 (72)发明人 李东根　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 孙明子　刘戈 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/295(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于意图槽位联合模型的数据处理方法及 装置 (57)摘要 本公开提供一种基于意图槽位联合模型的 数据处理方法及装置， 该方法： 响应于用户的输 入信息， 将输入信息转换为待处理文本； 调用意 图槽位联合模 型处理待处理文本， 得到待处理文 本对应的概率分布； 待处理文本对应的概率分布 包括执行意图识别任务得到的第一概率分布和/ 或执行槽位填充任务得到的第二概率分布， 意图 槽位联合模型包括用于执行意图识别任务的第 一分支网络、 以及用于执行槽位填充任务的第二 分支网络； 根据第一概率分布和/或第二概率分 布， 输出待处理文本中的意图信息和/或槽位信 息。 通过意图槽位联合模型中的分支网络独立处 理不同任务的语义特征信息， 从而提升意图槽位 联合模型的任务执 行效果。 权利要求书2页 说明书9页 附图4页 CN 114742065 A 2022.07.12 CN 114742065 A 1.一种基于意图槽位联合模型的数据处 理方法， 其特 征在于， 包括： 响应于用户的输入信息， 将所述输入信息转换为待处 理文本； 调用意图槽位联合模型处理所述待处理文本， 得到所述待处理文本对应的概率分布； 其中， 所述待处理文本对应的概率分布包括执行意图识别任务得到的第一概率分布和/或 执行槽位填充任务得到的第二概率分布， 所述意图槽位联合模型包括用于执行所述意图识 别任务的第一分支网络、 以及用于执 行所述槽位 填充任务的第二分支网络； 根据第一概率分布和/或第 二概率分布， 输出所述待处理文本 中的意图信息和/或槽位 信息。 2.根据权利要求1所述的方法， 其特征在于， 所述调用意图槽位联合模型处理所述待处 理文本， 得到所述待处 理文本对应的概 率分布， 包括： 将所述待处理文本输入所述意图槽位联合模型中的主干网络， 以获得所述第 一分支网 络与所述第二分支网络共用的初始语义特 征信息； 将所述初始语义特征信 息分别输入所述第 一分支网络与 所述第二分支网络， 以获得由 所述第一分支网络预测得到的语义特征信息作为所述第一概率分布， 以及由所述第二分支 网络预测得到的语义特 征信息作为所述第二 概率分布。 3.根据权利要求2所述的方法， 其特征在于， 所述主干网络包括嵌入层以及主干编码 层； 所述第一分支网络包括输出所述第 一概率分布的分类层、 以及连接所述分类层与 所述 主干网络的第一分支编码层； 所述第一概率分布为所述待处理文本中意图标签的概率分 布； 所述第二分支网络包括输出所述第 二概率分布的命名实体识别层、 以及连接所述命名 实体识别 层与所述主干网络的第二分支编 码层； 所述第二概率分布为所述待处理文本中槽 位序列标签的概 率分布。 4.根据权利要求1所述的方法， 其特征在于， 所述意图槽位联合模型基于BERT ‑base模 型构建。 5.根据权利要求4所述的方法， 其特征在于， 所述BERT ‑base模型包括嵌入层以及多个 编码层； 所述意图槽位联合模型包括： 基于所述BERT ‑base模型中的嵌入层以及第一预设数量 的编码层构建 的主干网络， 基于分类层以及所述BERT ‑base模型中第二预设数量的编码层 构建的所述第一分支网络， 以及基于命名实体识别层以及所述BERT ‑base模型中第三预设 数量的分支编码层构建的所述第二分支网络 。 6.根据权利要求5所述的方法， 其特征在于， 所述第一预设数量为10层， 所述第二预设 数量和/或所述第三预设数量 为2层。 7.根据权利要求1所述的方法， 其特征在于， 所述第 一概率分布为所述待处理文本 中意 图标签的概 率分布， 所述第二 概率分布为所述待处 理文本中槽位序列标签的概 率分布； 所述根据第 一概率分布和/或第 二概率分布， 输出所述待处理文本中的意图信 息和/或 槽位信息， 包括： 基于所述意图标签的概率分布， 选取概率最大的意图标签作为所述意图信息， 并输出 所述意图信息； 和/或权　利　要　求　书 1/2 页 2 CN 114742065 A 2基于所述槽位序列标签的概率分布， 选取概率最大的槽位序列标签作为所述槽位信 息， 并输出 所述槽位信息 。 8.根据权利要求1所述的方法， 其特 征在于， 还 包括： 将训练数据集输入所述意图槽位联合模型， 通过所述意图槽位联合模型预测得到所述 训练数据集对应的概率分布样本； 其中， 所述训练数据集对应的概率分布样本包括通过所 述意图识别任务提取的第一概率分布样本和/或通过所述槽位填充任务提取的第二概率分 布样本； 计算所述第 一概率分布样本、 以及预先标注的所述训练数据集对应的意图标签样本之 间的交叉熵， 作为所述 意图识别任务对应的第一损失值； 计算所述第 二概率分布样本、 以及预先标注的所述训练数据集对应的槽位序列 标签样 本之间的交叉熵， 作为所述槽位 填充任务对应的第二损失值； 根据所述第一损失值和所述第二损失值， 优化所述 意图槽位联合模型的模型参数。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述第 一损失值和所述第 二损失 值， 优化所述 意图槽位联合模型的模型参数， 包括： 计算所述第一损失值和所述第二损失值的平均值； 根据所述平均值采用Adam优化器调整所述 意图槽位联合模型的模型参数。 10.一种基于意图槽位联合模型的数据处 理装置， 其特 征在于， 包括： 转换模块， 被 配置为响应于用户的输入信息， 将所述输入信息转换为待处 理文本； 处理模块， 被配置为调用意图槽位联合模型处理所述待处理文本， 得到所述待处理文 本对应的概率分布； 其中， 所述待处理文本对应的概率分布包括执行意图识别任务得到的 第一概率分布和/或执行槽位填充任务得到的第二概率分布， 所述意图槽位联合模型包括 用于执行所述意图识别任务的第一分支网络、 以及用于执行所述槽位填充任务的第二分支 网络； 输出模块， 被配置为根据第 一概率分布和/或第 二概率分布， 输出所述待处理文本 中的 意图信息和/或槽位信息 。 11.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至9任一项所述的基于 意图槽位联合模型的数据处 理方法。 12.一种计算机可读存储介质， 当所述计算机可读存储介质中的指令由电子设备执行 时， 使得电子 设备能够执行如权利要求1至9任一项 所述的基于意图槽位联合模 型的数据处 理方法。权　利　要　求　书 2/2 页 3 CN 114742065 A 3