(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210281969.5 (22)申请日 2022.03.22 (71)申请人 山西三友和智慧信息技 术股份有限 公司 地址 030000 山西省太原市太原高新区科 技街15号A1 18室 (72)发明人 潘晓光　王小华　宋晓晨　令狐彬　 张娜　 (74)专利代理 机构 深圳科润知识产权代理事务 所(普通合伙) 44724 专利代理师 李小妮 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于方面的情感分析中Bert性能改进 方法 (57)摘要 本发明属于深度学习技术领域， 具体涉及一 种基于方面的情感分析中Bert性能改进方法， 包 括如下步骤： 对中文语料数据集中的多条中文语 料进行文本预处理， 以获得所述多条中文语料对 应的多个序列； 使用BERT模型提取每个序列的词 嵌入； 采用BERT、 LSTM和CNN对每个序列进行特征 提取， 以获得每个序列对应的文本深层语义特 征； 通过对损失算法进行修改； 通过使用条件随 机场替换现有BERT情感分析模型使用的交叉熵 损失； 通过使用softmax分类器对所获得的文本 深层语义特征进行分类， 来对模 型进行训练和测 试， 进而实现情感极性预测分析。 本发明通过改 进模块等方式， 极大地提高的Bert模型在基于方 面的情绪分析的性能。 权利要求书2页 说明书4页 附图1页 CN 114722799 A 2022.07.08 CN 114722799 A 1.一种基于方面的情感分析中Ber t性能改进方法， 其特 征在于： 包括如下步骤： S1、 对中文语料数据集中的多条中文语料进行文本预处理， 以获得所述多条中文语料 对应的多个序列； S2、 使用BERT模型提取每个序列的词嵌入； 采用BERT、 LSTM和CNN对每个序列进行特征 提取， 以获得每个序列对应的文本深层语义特征； 且在BERT模型添加并行聚合模块和层次 聚合模块， 所述并行聚合主要是通过整合情感分析模型最后四层中每一层的信息， 所述层 次聚合是通过在每一个隐藏层之后添加Ber t层； S3、 通过对损失算法进行修改； 通过使用条件随机场替换现有BERT情感分析模型使用 的交叉熵损失； S4、 通过使用softmax分类器对所获得的文本深层语义特征进行分类， 来对模型进行训 练和测试， 进而实现情感极性预测分析。 2.如权利 要求1所述的一种基于方面的情感分析中Bert性能改进方法， 其特征在于： S1 中， 所述对中文语料数据集中的多条中文语料进行文本预处理的步骤包括： 针对所述中文 语料数据集中的每条中文语料， 将该条中文语料中的文本字符化， 其中， 在获得的该条中文 语料对应的序列中， 用CLS作为该序列的第一个标记， 通过SEP对该序列进行分割。 3.如权利 要求2所述的一种基于方面的情感分析中Bert性能改进方法， 其特征在于： S2 中， 所述并行聚合： 深层 模型的隐藏层可以被更多地利用来提取区域的特定信息； 因此可以 通过增加一个Bert层并使用每一层 进行预测来利用Bert模 型的最后四层， 原因是所有较深 的层都包含关于任务的大部分相关信息， 因此， 从它们中的每一个中提取这些信息并组合 它们可以产生更丰富的语义表示。 4.如权利 要求3所述的一种基于方面的情感分析中Bert性能改进方法， 其特征在于： S2 中， 所述层次聚合： 通过在每个隐藏层上应用一个Bert层之后， 它们将与前一层聚合； 同时， 与并行聚合相似， 同样使用每个输出分支进行预测， 并最后对损失进行求和， 其目标是从 BERT模型的隐藏层中提取 更多的语义。 5.如权利 要求3所述的一种基于方面的情感分析中Bert性能改进方法， 其特征在于： S2 中， 采用12层的注意力机制来提取更深层次的文本语义特征， 所述CNN中的卷积层采用1维 卷积， 其中池化层 采用最大池化， 在通过LSTM处理序列形式的文本数据时， 产生序列化的输 出数据， 以将提取到的文本特征向量与CNN、 BERT中的数据拼接融合在一起， 在经过全连接 层后再进入分类 器。 6.如权利 要求5所述的一种基于方面的情感分析中Bert性能改进方法， 其特征在于： S3 中所述条件随机场所述条件随机场是一种图形模型， 提升标签的联合分发性能， 其中计算 标签的联合 概率的公式为: 其中xt， yt为状态特 征， yt‑1为转移特征， fk为特征函数， θk为权值。 7.如权利 要求6所述的一种基于方面的情感分析中Bert性能改进方法， 其特征在于： S4 中， 模型训练时， 数据沿神经网络正向传播， 所有网络在输出时进行多元特征 的融合， 反向 传播时， 通过对损失函数求偏导， 进行参数更新； 其中， 反向传播采用的方法是Adam优化算权　利　要　求　书 1/2 页 2 CN 114722799 A 2法， 在进行模式测试时， 利用训练时获得的模型和权重， 测试数据沿神经网络正向传播至 softmax分类 器， 进行情感极性分析。权　利　要　求　书 2/2 页 3 CN 114722799 A 3