(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210214958.5 (22)申请日 2022.03.04 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 方义秋　彭杨　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄宗波 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/211(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于预训练模型BERT的多粒度融合方面级 情感分析方法 (57)摘要 本发明涉及自然语 言处理技术领域， 公开了 一种基于预训练模型BERT的多粒度融合方面级 情感分析方法， 步骤包括将文本输入到预训练模 型中获取预训练词向量， 并获取方面项的上下文 信息s； 通过LSTM长短期记忆网络来学习句子的 上下文句子信息h； 将双向LS TM的输出h作为句子 级别注意力层的输入， 计算每个句子的重要程 度， 得到句子级别注意力层的输出u； 将u进行维 度变换为与s一致， 再将s与句子级的输出u进行 调和得到最终的输出O； 将O作为情感分类层的输 入， 计算情感极性的概率P， 并根据损失函数进行 损失， 再采用反向传播算法进行优化。 本发明能 够防止上下文句子过多， 影 响当前句子方面的极 性判断的问题， 从而增强对当前句子方面的极性 判断， 提升方面情感预测的性能。 权利要求书2页 说明书4页 附图2页 CN 115374789 A 2022.11.22 CN 115374789 A 1.基于预训练模型BERT的多粒度融合方面级情感分析方法， 其特征在于： 包括以下步 骤， S1、 将文本输入到预训练模型中获取预训练词向量， 并获取token ‑level的关于方面项 的上下文信息s； S2、 通过LSTM 长短期记 忆网络来学习句子的上 下文句子信息 h； S3、 将LSTM的输出h作为句子级别注意力层的输入， 计算每个句子的重要程度， 得到句 子级别注意力层的输出u； S4、 将句子级别注意力层的输出u进行维度变换为与方面级输出s一致， 再将方面级的 输出s与句子级别注意力层的输出u 进行调和， 得到最终的输出O； S5、 将最终的输出O作为情感分类层的输入， 通过softmax计算情感极性的概率P， 并根 据损失函数进行损失， 再采用反向传播 算法进行优化。 2.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法， 其 特征在于： 所述 步骤S1中， 将文本 输入到预训练模型中获取 预训练词向量的方法具体为： E＝{e1,e2,L,el} 其中， E表示预训练词向量， ei表示文档中的第i个词向量表示， l表示输入文本的长度。 3.根据权利要求2所述的基于预训练模型BERT的多粒度融合方面级情感分析方法， 其 特征在于： 所述步骤S1 中， 采用平均池化的方法获取所述token ‑level的关于方面项的上下 文信息s。 4.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法， 其 特征在于： 所述S2 步骤中， 通过LSTM长 短期记忆网络来学习句子的上下文句子信息h的具体 方法为： 5.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法， 其 特征在于： 所述S 3步骤中， 将双向LSTM的输出作为句子级别注 意力层的输入， 计算每个句子 重要程度的方法为： sh＝tanh(whhs+bh) 其中， wh表示权重， bh表示偏置， sh表示注意力得分， ah表示经过softmax 函数之后得到的 权重概率， u表示句子级别注意力层的输出。 6.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法， 其 特征在于： 所述步骤S4中， 将句子级别的输出进行维度变换为与方面级输出s一致， 再将方 面级的输出与句子级的输出进行调和， 得到最终的输出O的具体方法为： z＝f(wuu+bu) gz＝σ(wzz+bz) o＝gze z+(1‑gz)e s 其中， 所述f表示全连接层， z表示全 脸层的维度变 换后的输 出， wu表示全连接层的权重，权　利　要　求　书 1/2 页 2 CN 115374789 A 2bu表示全连接层的偏置， σ 表示sigmoid激活函数， wz表示sigmoid的权重， bz表示sigmoid的 偏置， gz的输出在(0,1)区间。 7.根据权利要求6所述的基于预训练模型BERT的多粒度融合方面级情感分析方法， 其 特征在于： 所述步骤S5中， 将最终的输出O作为情感分类层的输入， 通过softmax计算情感极 性的概率P， 具体为: P＝Soft max(wpo+bp) 其中， wp表示情感分类层的权 重， bp表示情感分类层的偏置， P表示预测的情感概 率。权　利　要　求　书 2/2 页 3 CN 115374789 A 3