(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210324881.7 (22)申请日 2022.03.30 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 唐宏　刘蓓明　刘杰　黄水文　 (74)专利代理 机构 重庆辉腾律师事务所 5 0215 专利代理师 王诗思 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/35(2019.01) G06F 40/205(2020.01) G06F 40/279(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双向LSTM和多头注意力机制的文本方 面级情感识别方法 (57)摘要 本发明涉及自然语言处理、 深度学习、 方面 级情感分析领域， 特别涉及一种基于双向LS TM和 多头注意力机制的文本方面级情感识别方法， 包 括获取方面词所在的上下文文本的词嵌入表示； 采用双向LSTM网络获取局部上下文和全局上下 文的特征表 示； 局部上下文的特征表 示通过上下 文动态加权和多头自注意力机制得到局部特征， 全局上下文的特征表示通过多头自注意力机制 得到全局特征； 根据局部特征和全局特征获得局 部和全局共同关注的交互特征， 将交互特征和局 部特征通过动态权重拼接融合获得最终特征表 示； 将最终特征表示输入到线 性层、 softmax函数 中进行情感预测； 本发明对特征进行动态融合， 从而提高了文本方面级情感识别的准确率。 权利要求书3页 说明书8页 附图3页 CN 114648031 A 2022.06.21 CN 114648031 A 1.基于双 向LSTM和多头注意力机制的文本方面级情感识别方法， 其特征在于， 包括以 下步骤： S1： 获取方面词所在的上 下文文本的词嵌入表示， 即所在句子对应的矩阵形式； S2： 采用双向LSTM网络分别对局部上下文和全局上下文 的词嵌入表示进行预处理， 得 到对应上 下文文本的特 征表示； S3： 局部上下文的特征表示通过上下文动态加权和多头自注意力机制得到局部特征， 全局上下文的特 征表示通过多头自注意力机制得到全局特 征； S4： 根据局部特征和全局特征获得局部和全局共 同关注的交互特征， 将交互特征和局 部特征通过动态权 重拼接融合获得最终特 征表示； S5： 将最终特征表示输入到线性层、 softmax函数中进行情感预测， 得到基于双向LSTM 和多头注意力机制的文本方面级情感识别模型； S6： 对基于双向LSTM和多头注意力机制的文本方面级情感识别模型进行训练优化， 将 待识别的文本 输入到训练好的模型中， 得到该文本中特定方面词的情感识别结果。 2.根据权利要求1所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方 法， 其特征在于， 获取 方面词所在的上 下文文本的词嵌入表示的过程包括： S11： 将局部上下文处理器的文本输入序列转换为 “[CLS]+上下文+[SEP] ”， 得到局部上 下文Xl； S12： 将全局上下文处理器的文本输入序列转换为 “[CLS]+上下文+[SEP]+方面词+ [SEP]”， 得到全局上 下文Xg； S13： 采用两个独立的BERT模型分别对局部上下文和全局上下文进行建模， 两个BERT模 型分别输出局部上 下文的词嵌入 和全局上 下文的词嵌入 其中 d1表示词嵌入的维度， n1表示文本序列的长度； 其中， l表示局部上下文， g表示全局上下文； [CLS]为第一个句子句 首的标志位； [SEP] 为一个句子句尾的标志位。 3.根据权利要求1所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方 法， 其特征在于， 获取预 处理后的局部上下文和全局上下文的特征的过程包括： 将局部上下 文的词嵌入表示 和全局上下文的词嵌入表示 分别输入到各自的双向LSTM网络 中， 得到局部上 下文预处 理后的特 征表示Hl和全局上 下文预处 理后的特 征表示Hg。 4.根据权利要求3所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方 法， 其特征在于， 双向LSTM 网络由细胞状态ct、 隐藏状态ht、 遗忘门ft、 输入门it、 输出门ot组 成； 将局部上下文的词嵌入表示 和全局上下文的词嵌入表示 分别输入到各自的 双向LSTM网络中， 双向LSTM网络的计算公式为： 则上下文m中所有单词经 过双向LSTM后的矩阵为： 权　利　要　求　书 1/3 页 2 CN 114648031 A 2其中， m表示上下文类型， 且m∈{l， g}， l表示局部上下文， g表示全局上下文， t表示文本 中第t个单词， n表示上下文文本的长度， 为上下文m中第t个单词的词嵌入表示， 表示上下文m中第 t个单词经过双向LSTM网络后的隐藏层输出， 表示前向LSTM计算， 表示后向LST M计算， 表示矩阵Hm的维度是n ×2dm维， Hm， m∈{l， g}表示局部上 下文和全局上 下文经过双向LSTM网络预处 理后的特 征表示。 5.根据权利要求1所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方 法， 其特征在于， 将局部上下文经过双向LSTM网络预处理后的特征表示输入到上下文特征 动态加权层和多头自注意力层获得局部特 征， 具体包括： 将局部上 下文特征表示Hl输入到上 下文特征动态加权层， 其计算公式包括： W＝[V1,...Vt...Vn],1≤t≤n 将上下文特征动态加权层的输出输入到多头自注意力层中， 计算公式为： 其中， Pa表示方面词的中心位置， a表示方面词的长度， SRDt表示上下文中第t个单词与 特定方面词的语 义相对距离， α 表示SRDt的阈值， E为 单位向量， Vt表示上下文中第t个单词特 征对应的权重向量， W表示上下文特征对应的权重矩阵， Hl为局部上下文预处理后的特征表 示， 为经过多头自注意力层输出的局部特 征。 6.根据权利要求1所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方 法， 其特征在于， 将全局上下文经过双向LSTM网络预处理后的特征表示直接输入到多头自 注意力层获得全局特 征， 具体包括包括： 将全局上 下文特征表示Hg直接输入到多头自注意力层， 其计算公式包括： 其中， Hg为全局上下文预 处理后的特征表示， 为经过多头自注意力 层输出的全局 特征。 7.根据权利要求1所述的基于双向LSTM和多头注意力机制的文本方面级情感识别方 法， 其特征在于， 将局部特征和全局特征通过多头交互注意力机制获取交互特征 的 过程包括： 将局部特征和全局特征拼接起来， 并将其进行线性映射， 最后通过多头自注意力机制 得到交互特征， 该过程表示 为：权　利　要　求　书 2/3 页 3 CN 114648031 A 3