(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229937.0 (22)申请日 2022.03.09 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 张晓彤　刘晗　相玖红　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 隋秀文 (51)Int.Cl. G06F 40/263(2020.01) G06F 40/284(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种针对 小语种的小样本意图识别方法 (57)摘要 本发明属于对话系统意图识别应用领域， 提 出了一种针对小语种的小样 本意图识别方法。 该 方法通过数据预处理、 方法设计、 模型训练和模 型测试和四个阶段， 基于小样本学习意图识别， 旨在针对小语种对话语句进行意图识别， 从人类 对话中理解其真实意图。 本发明中的小样本学习 可以在每类只有少量甚至个位数标记数据的情 况下实现类别预测， 因此能有效突破小语种语料 不足的障碍。 同时发现了用户意图表达多样化对 意图识别的干扰， 从多语义的角度对对话语句进 行特征建模和关系建模， 确保了语句语义特征更 接近真实意图特征， 提高了小语种意图识别的准 确性。 权利要求书4页 说明书18页 附图3页 CN 114692615 A 2022.07.01 CN 114692615 A 1.一种针对小语种的小样本意图识别方法， 其特 征在于， 包括如下步骤， (一)、 数据预处 理； S1： 选取小语种， 进行小语种语料的收集； 收集的小语种对话语句附加小语种意图标签 的最终格式为 “小语种意图#小语种对话语句 ”； S2： 利用分词器对小语种对话语句分词， 分离词性 不同的相连 单词； S3： 收集无意图标签标记的小语种语料， 预训练B ert模型， 采用B ert模型通过双向循环 神经网络模型建立学习单词嵌入表示矩阵； 给定一具有T个单词的语句x＝{w1,w2,…,wT}， 其中， 代表第t 个单词的词向量， 词向量由Bert预训练模型得到； 每个单词的词向量使用一个双向循环神 经网络模型进一 步编码； 其中， LSTMfw和LSTMbw分别对应前向和后向LSTM， 和 分别对应单词 wt从LSTMfw和LSTMbw学习到的隐藏状态； 是单词wt‑1从LSTMfw学习到的隐藏状态， 是单词wt‑1从LSTMbw学习到的隐藏状态； 单词wt对应的总向量是 该语句的隐 藏状态矩阵即单词嵌入表示矩阵是 S4： 对步骤S1收集的 由小语种意图标签标记的数据进行小样本任务划分； 采用C‑way K‑shot任务划分方式对收集的对话语句进行小样本任务划分； 在每个小样 本任务中， 数据由C类构成， 每 个类包含K个数据； (二)、 方法设计； S5： 通过自注意力机制和非线性激活函数构建单词重要性学习模型， 输出 单词重要性； 通过自注意力机制和softmax非线性激活函数， 从单词嵌入表示矩阵获取语句中单词 的重要性权 重： A＝softmax(F2ReLu(F1H))， 其中， 和 是分别自注意力机制的模型参数， 是权重分配矩阵； ReLu是线性整流函数； R代表语句包含的语义个数； 当R＝1时， 单词重要性 权重A由一个向量构成， 表示单词在语句中的权重； 当R>1时， 会获得R个单词重要性权重向 量， 即把一个语句分解 为R个语义表示， 每 个语义表示都对应一个单词重要性权 重向量； S6： 提出层次化的多语义特 征提取模型， 进行多语义学习； 给定一个包含T个单词 的句子， 通过步骤S5获得其单词与语义间的权重分配矩阵A， A (r,i)代表第i个单词对于第r个语义的重要程度； 根据单词与语义的权重分配矩阵获得句 子的对话层面的多语义特 征表示： M＝HAT， 权　利　要　求　书 1/4 页 2 CN 114692615 A 2从对话层面的多语义特 征表示中进一 步抽取Z个意图层面的多语义特 征表示； 针对对话层面的多语义特征表示运用映射矩阵， 获得映射后的对话层面的多语义特征 表示； 其中， 为第z个意图语义空间的映射矩阵； 第z个意图层面的多语义特征表示通过对R个映射后的对话层面的多语义特征表示进 行加权求和： lz＝Mz( αz)T， 其中， lz为第z个意图层面的多语义特征表示； 代表R个对话层面语义与第z 个意图层面语义之间的权 重向量； 通过单头注意力机制自动计算第z个意图层面语义对应的权 重向量； αz＝softmax(aztanh(GzM))， 其中， 是单头注意力机制的模型参数， tanh是非线性激活函数； 重复Z次单头注意力机制， 获取Z个意图层面的多语义特 征表示； S7： 构造语句和原型之间的关联网络， 实现对测试语句的意图识别； 每个小样本任务分为支持集和查询集； 支持集指示类别的特有信息， 查询集用于指导 关联网络模型的意图预测； 每个测试语句通过步骤S6获取多语义特征， 每个小样本任务的支持集由多语义特征表 示， 支持集数据为每个类学习一个多语义原型， 每类有K个由小语种意图标签标记的样本； 根据支持集中语句的多语义特征表示 获取每个类原型； 构建学习测试语句与类原型间相关 程度的关系网络； 相关程度最大的类原型对应的类别为该测试语句的预测意图； Ⅰ.多语义原型 学习 代表第c个类的支持集， 分别代表第k个数据及其意图标 签； 代表 的意图层面语义特征表示， 第c个类的支持集中K个数据的第z个意图层面的 语义特征表示为 其中， 代表 的第z个意图层面的语义特 征表示； 支持集有C个类原型 每个类原型Pc由Z个意图层面语义特征构成， 第c个类的第z个意图层面的语义特 征表示 构成原型 其中， 为原型计算的模型参数， 为K个数据计算原型 的权重 向量；权　利　要　求　书 2/4 页 3 CN 114692615 A 3