(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210453637.0 (22)申请日 2022.04.24 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 林金镇　应缜哲　王维强　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 朱文杰 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) (54)发明名称 意图识别方法、 装置及设备 (57)摘要 本说明书实施例提供了一种意图识别方法、 装置及设备， 其中方法包括： 对获取的待识别数 据进行预处理得到目标数据； 基于意图识别模型 对目标数据进行特征提取处理， 得到目标数据的 线性特征和非线性特征； 基于意图识别模型根据 提取的线性特征和非线性特征进行意图识别处 理， 得到待识别数据的意图识别结果。 其中， 意图 识别模型 是对BERT 模型进行优化并训练所得。 权利要求书3页 说明书13页 附图4页 CN 114860905 A 2022.08.05 CN 114860905 A 1.一种意图识别方法， 包括： 对获取的待识别数据进行 预处理得到目标 数据； 基于意图识别模型对所述目标数据进行特征提取处理， 得到所述目标数据的线性特征 和非线性特 征； 所述意图识别模型 是对BERT模型进行优化并训练所 得； 基于所述意图识别模型根据 所述线性特征和所述非线性特征进行意图识别处理， 得到 所述待识别数据的意图识别结果。 2.根据权利要求1所述的方法， 所述对获取的待识别数据进行预处理得到目标数据， 包 括： 根据预设的分词方式对所述待识别数据进行分词处 理， 得到分词结果； 确定所述分词结果中每 个字词的标识信息； 根据所述分词结果中每个字词在所述待识别数据中的位置信 息， 对所述标识信 息进行 拼接处理得到标识信息序列； 将所述标识信息序列转换为目标 数据， 所述目标 数据包括预设数量的所述标识信息 。 3.根据权利要求2所述的方法， 所述意图识别模型包括优化的BERT单元和非线性特征 提取单元； 所述基于意图识别模型对所述 目标数据进行特征提取处理， 得到所述 目标数据 的线性特 征和非线性特 征， 包括： 基于所述优化的BERT单元对所述目标数据进行线性特征提取处理， 得到所述目标数据 的线性特 征； 基于所述非线性特征提取单元对所述目标数据的线性特征进行非线性变换处理， 得到 所述目标 数据的非线性特 征。 4.根据权利要求3所述的方法， 所述优化的BERT单元包括BertEmbedding层、 BertEncoder层、 第一全连接层、 第一归一 化层、 第二归一 化层和最大池化层； 所述基于所述优化的BERT单元对所述目标数据进行线性特征提取处理， 得到所述目标 数据的线性特 征， 包括： 通过所述BertEmbedding层对所述目标数据中的每个所述标识信息进行转换处理， 得 到每个所述标识信息的转换 数据； 通过所述BertEncoder层确定所述转换数据之间的关联关系， 并根据所述关联关系生 成所述目标 数据的第一特 征矩阵； 通过所述第一全连接层对所述第一特 征矩阵进行转换处 理， 得到第二特 征矩阵； 通过所述第一归一化层对所述第二特征矩阵进行第一归一化处理， 得到第三特征矩 阵； 对所述第一特 征矩阵和所述第三特 征矩阵进行第一 合并处理， 得到第四特 征矩阵； 通过所述第二归一化层对所述第四特征矩阵进行第二归一化处理， 得到第五特征矩 阵； 对所述第一特 征矩阵和所述第五特 征矩阵进行第二 合并处理， 得到第六 特征矩阵； 通过所述最大池化层对所述第六特征矩阵进行最大池化处理， 得到所述目标数据的线 性特征。 5.根据权利要求3所述的方法， 所述非线性特征提取单元包括第三归一化层和非线性 层； 所述基于所述非线性特征提取单元对所述 目标数据的线性特征进行非线性变换处理，权　利　要　求　书 1/3 页 2 CN 114860905 A 2得到所述目标 数据的非线性特 征， 包括： 通过所述第三归一 化层对所述线性特 征进行第三归一 化处理， 得到目标线性特 征； 通过所述非线性层对所述目标线性特征进行非线性变换处理， 得到所述目标数据的非 线性特征。 6.根据权利要求5所述的方法， 所述基于所述意图识别模型根据所述线性特征和所述 非线性特 征进行意图识别处 理， 得到所述待识别数据的意图识别结果， 包括： 基于所述意图识别模型的意图识别单元， 根据所述线性特征和所述非线性特征确定所 述待识别数据对应的意图分类标签； 根据所述 意图分类标签确定所述待识别数据的意图识别结果。 7.根据权利要求6所述的方法， 所述意图识别单元包括第四归一化层和第 二全连接层； 所述基于所述意图识别模型的意图识别单元， 根据所述线性特征和所述 非线性特征确定所 述待识别数据对应的意图分类标签， 包括： 对所述目标线性特 征和所述非线性特 征进行第一 合并处理， 得到合并特 征； 通过所述第四归一 化层对所述 合并特征进行第四归一 化处理， 得到目标合并特 征； 通过所述第二全连接层将所述目标合并特征映射为与预设的每个意图分类标签一一 对应的概 率； 从所述概率中获取大于概率阈值的至少一个目标概率， 将所述目标概率对应的意图分 类标签确定为所述待识别数据对应的意图分类标签。 8.根据权利要求7所述的方法， 所述根据所述意图分类标签确定所述待识别数据的意 图识别结果， 包括： 确定所述 意图分类标签中是否含有预设的冲突标签； 若是， 则根据所述冲突标签中概率最大的意图分类标签， 确定所述待识别数据的意图 识别结果。 9.根据权利要求1所述的方法， 所述方法还 包括： 获取待训练的样本数据集合； 所述样本数据集合中的每个样本数据标注有意图分类标 签； 基于所述样本数据集 合进行模型训练 处理， 得到所述 意图识别模型。 10.根据权利要求9所述的方法， 所述基于所述样本集合进行模型训练处理， 得到所述 意图识别模型， 包括： 迭代的将所述样本数据集合输入待训练模型， 基于所述待训练模型对所述训练集中的 每个样本数据进行 特征提取处 理， 得到每 个所述样本数据的线性特 征和非线性特 征； 基于所述待训练模型根据所述线性特征和所述非线性特征进行意图识别处理， 得到所 述样本数据的预测意图分类标签； 若根据预设的损失函数、 所述样本数据标注的所述意图分类标签和所述预测意图分类 标签确定满足预设的训练停止条件， 则将对应的待训练模型确定为所述 意图识别模型。 11.一种意图识别装置， 包括： 预处理模块， 对获取的待识别数据进行 预处理得到目标 数据； 特征提取模块， 基于意图识别模型对所述目标数据进行特征提取处理， 得到所述目标 数据的线性特 征和非线性特 征； 所述意图识别模型 是对BERT模型进行优化并训练所 得；权　利　要　求　书 2/3 页 3 CN 114860905 A 3