(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210432349.7 (22)申请日 2022.04.22 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 陈波　朱舜文　曾俊涛　陈圩钦　 邓媛丹　王庆先　 (74)专利代理 机构 成都先导云创知识产权代理 事务所(普通 合伙) 51321 专利代理师 李坤 (51)Int.Cl. G06F 40/216(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (54)发明名称 一种基于bert+bilstm+crf与xgboost模型 的多意图识别方法和系统 (57)摘要 本发明属于自然语 言理解领域技术， 具体涉 及一种基于bert+bilstm+crf与xgboost模型的 多意图识别方法和系统； 本技术方案中， 使用 bert处理预处理完成的数据集， 得到动态的词向 量， 不同于以往的使用word2vec或glove模型获 取的词向量。 Bert模型输 出的词向量具有动态特 性， 能够解决一词多义的问题。 词向量再经过bi   l stm+crf转换为句向量， bi  l stm+crf模型能 够同时处理距离较远的上下文文本信息， 通过近 邻标签的关系得到最优的句向量预测序列。 在主 意图识别方面使用Xgboost模型， 该模型的识别 精度较高且更加灵活， 因此用在主意图。 得到所 有的主意 图过后， 我们利用TF ‑I DF模型选取标 准意图， 以此为意图判断依据。 将经由bert+bi  l  stm+crf模型处理过后的句向量输入到新的bert 模型当中， 最终输出子意图。 权利要求书1页 说明书5页 附图4页 CN 114818665 A 2022.07.29 CN 114818665 A 1.一种基于bert+bilstm+crf与xgboost模型的多意图识别方法， 其特征在于， 包括如 下步骤： 步骤1： 通过 得到用户的交 互文本或者语音信息， 构建数据集； 步骤2： 对所述数据集进行 预处理， 得到标准格式数据； 步骤3： 通过ber t+bilstm+crf模型将所述标准格式数据转换为特 征句向量； 步骤4： 通过Xgboost模型训练相应的特征句向量模型来进行意图识别， 识别用户交互 意图并输出 所有的主意图； 步骤5： 利用TF ‑IDF模型计算同一主意图的所有文本数据中的意图对该类意图的贡献， 确定标准 意图， 其他意图则为子意图， 将标准 意图的句向量作为标准句向量； 步骤6： 通过ber t模型将各子意图进行分类并输出个子意图类别。 2.根据权利要求1所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方 法， 其特征在于， 所述 步骤2中的预处 理包括对数据集进行去停用词和标注。 3.根据权利要求1所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方 法， 其特征在于， 所述特 征句向量包括词向量、 词性向量和命名实体向量。 4.根据权利要求3所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方 法， 其特征在于， 所述步骤3中具体包括； 利用了bert模 型将标准格式数据转换为词向量， 再 由bilstm+crf模型计算出词性向量和命名实体向量。 5.根据权利要求1所述的一种基于bert+bilstm+crf与xgboost模型的多意图识别方 法， 其特征在于， 所述ber t+bilstm+crf模型的公式如下： (1)headi＝Attention(QWiQ， KWiK， VWiV) (2) (3)MultiHead(Q， K， V)＝Co ncat(head1，…， headn)Wo 式中： Q、 K、 V为字向量矩阵， dk是嵌入层维度， 而MultiHead自注意力机制则是通过对Q、 K、 V进行投影， 将自注意力机制结果 拼接， 如公式(2)和公式(3)。 6.一种基于bert+bilstm+crf与xgboost模型的多意图识别系统， 其特征在于， 包括语 音接收模块， 该模块的功能是用于识别用户语音； 语音转换文本模块， 用于接收语音之后的 文本转换功能； 意图识别模块， 用于基于bert+bilstm+crf所述的标准意图选取， 多意图识 别； 交互模块， 用于识别用户意图后执 行意图。 7.一种电子设备， 其特征在于， 所述电子设备包括： 壳体、 处理器、 存储器、 电路板和电 源电路， 其中， 电路板安置在壳体 围成的空间内部， 处理器和存储器设置在电路板上； 电源 电路， 用于为上述电子 设备的各个电路或器件供电； 存储器用于存储 可执行程序 代码； 处理 器通过读取存储器中存储的可执行程序代码来运行与可执行程序 代码对应的程序， 用于执 行权利要求1 ‑5中任一所述的方法。 8.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器执行， 以实现权利要求 1‑5中任 一所述的方法。权　利　要　求　书 1/1 页 2 CN 114818665 A 2一种基于 bert+bilstm+crf与 xgboost模型的多意 图识别方 法 和系统 技术领域 [0001]本发明属于自然语言理解领域技术， 具体涉及一种基于bert+bilstm+crf与 xgboost模型的多意图识别方法和系统。 背景技术 [0002]意图识别主要指在人与机器交互动作中， 机器对用户所发出的语音或者文本进行 自然语言理解， 判断出用户的真实意图， 为用户提供准确的服 务。 [0003]目前， 意图识别大部分应用在应对用户单一意图的分类或者匹配用途。 单一用途， 顾名思义， 指用户所发出的文本或者语音有且仅有一个意图， 而在另一些情况下， 用户会发 出的语音或者文本交 互含有多个意图时， 在处 理这类交 互时， 单一 意图识别就会遇 到困难。 [0004]为了达到实现多意图识别， 目前主流方式是将用户发出的指令拆分。 但是拆分方 式仅仅是通过指 令的表层， 如标点符号拆 分、 动词划分等方式。 但是如果用户输入的是语音 指令， 或者单个动词不能完全表达用户的意图。 发明内容 [0005]针对现有技术存在的传统的单一意图识别无法满足用户多意图语言指令下的要 求， 而传统的多意图识别拆分句子的方案并不能从根本上将一个多意图句子拆分程多个单 意图句子的问题， 本发明的目的在于提供一种基于bert+bilstm+crf与xgboost模型的多意 图识别方法， 通过对句子 分析， 解析出句子里所包含的多意图信息； 本发 明一方面使用bert +bilstm+crf、 Xgboost模型进行主意图识别。 本发明另一方面使用bert+bilstm进行意图分 类， 能够有效的将意图划分到与之对应的类别。 [0006]本发明采用的技 术方案如下： [0007]一种基于bert+bilstm+crf与xgboost模型的多意图识别方法， 其特征在于， 包括 如下步骤： [0008]步骤1： 通过 得到用户的交 互文本或者语音信息， 构建数据集； [0009]步骤2： 对所述数据集进行 预处理， 得到标准格式数据； [0010]步骤3： 通过ber t+bilstm+crf模型将所述标准格式数据转换为特 征句向量； [0011]步骤4： 通过Xgboost模型训练相应的特征句向量模型来进行意图识别， 识别用户 交互意图并输出 所有的主意图； [0012]步骤5： 利用TF ‑IDF模型计算同一主意图的所有文本数据中的意图对该类意图的 贡献， 确定标准 意图， 其他意图则为子意图， 将标准 意图的句向量作为标准句向量； [0013]步骤6： 通过ber t模型将各子意图进行分类并输出个子意图类别。 [0014]采用上述技术方案， 使用bert处理预处理完成的数据集， 得到动态的词向量， 不同 于以往的使用word2vec或glove模 型获取的词向量。 Bert模型输出的词向量具有动态特性， 能够解决一词多义的问题。 词向量再经过b ilstm+crf转换为句向量， b ilstm+crf模型能够说　明　书 1/5 页 3 CN 114818665 A 3