(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210354654.9 (22)申请日 2022.04.06 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 申请人 陕西方寸积慧智能科技有限公司 (72)发明人 魏泽阳　张文博　姬红兵　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/289(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于BERT改进模型的文本情感分析方 法 (57)摘要 本发明为一种基于BERT改进模型的文本情 感分析方法， 首先获取文本数据集并进行数据预 处理， 在输入编码层对预处理后的文本数据进行 分词并编码， 获得文本的词向量表示， 然后利用 BERT改进模型对输入词向量进行语义特征提取， 在BILSTM网络中对BERT改进模型输出的语义特 征进行二次提取， BILSTM网络后接Attention层， 突出文本的关键情感信息， 由此构建了BERT ‑ Att‑BILSTM情感分类模型； 本发明在输入编码层 获得文本的词向量表示， 利用BERT改进模型提取 语义特征， 使用BILSTM网络二次提取语义特征， 并引入注 意力机制， 可以充分提取文本中的关键 情感信息， 有效的保证了情感分析结果的准确 性。 权利要求书2页 说明书7页 附图3页 CN 114781392 A 2022.07.22 CN 114781392 A 1.一种基于BERT改进模型的文本情感分析 方法， 其特 征在于， 包括如下步骤： S1： 获取文本数据集； S2： 数据预处 理； S3： 对预处理后的文本进行分词并进行向量化处理得到输入tokens， 利用BERT改进模 型对输入tokens进行语义特征提取， ， 并在BILSTM网络中对语义特征进行二次提取， BILSTM 网络后接A ttention层， 突出关键情感信息， 构建BERT ‑Att‑BILSTM情感分类模型； S4： 利用训练集对情感分类模型进行训练； S5： 利用训练好的情感分类模型进行文本情感分类。 2.根据权利要求1所述基于BERT改进模型的文本情 感分析方法， 其特征在于， 所述文本 数据集是公开数据集或通过采集文本数据自行构造数据集； 当为自行构造的数据集时， 由 标注人员对句子中的每一条文本数据， 标注其情感极性标签， 情感极性包括积极、 中性、 消 极三种情绪。 3.根据权利要求1所述基于BERT改进模型的文本情 感分析方法， 其特征在于， 所述数据 预处理是对文本数据去除与情感评论无关的符号与 链接； 将非简体中文词汇转换为简 体中 文词汇， 并将emoji表情转 化为文字。 4.根据权利要求1所述基于BERT改进模型的文本情 感分析方法， 其特征在于， 所述情 感 分类模型包括： 输入编码层： 对预处理的文本数据， 按照双字节编码方式对单个汉字进行编码得到词 向量， 将得到的输入to kens作为BERT层的输入； BERT层： 基于BERT改进模型， 对输入的词向量进行第一次语义特征提取， 输出带有权重 的特征向量集合， 所述BERT改进模型为RoBERTa预训练模型； BILSTM层： 基于B ILSTM网络， 将BERT层输出的特征向量作为B ILSTM网络的序列化输入， 分别从两个方向进 行二次语义特征提取， 两个方向的LSTM之间不会共用状态， 在同一时刻， 将两个方向的LSTM的输出结果进 行拼接得到考虑了上下文语义信息的特征向量， 作为整个 BILSTM层的输出； 注意力模块： 对BILSTM层的输出特征向量动态地分配不同的注意力权重， 对情感分类 最相关的特征赋予更多的权重， 突出关键情感信息， 使文本的情感特征更加明显， 注意力模 块输出的向量综合 考虑了文本的上 下文信息记 忆重点情感特 征； 全连接层： 进行 特征提纯； 分类输出层： 基于Softmax分类函数， 根据提纯后的特征进行归一化处理输出最终的分 类值得到情感极性的分类， 对比真实标签与预测标签， 利用焦点损失计算损失函数， 进行反 向传播， 更新模型 的权重参数， 进行迭代运算， 不断迭代， 当损失函数的损失值在连续两个 迭代过程中趋于稳定时， 结束模型的训练过程， 得到情感分类模型， 情感分类模 型的输出结 果为每条数据集的标签， 情感分类标签为 ‑1、 0、 1， 分别代 表消极、 中性、 积极。 5.根据权利要求4所述基于BERT改进模型的文本情 感分析方法， 其特征在于， 所述输入 编码层采用与上下文有关的动态字节编码模 型， 使用全词mask策略， 基于WordPiece将中文 语句切分， 在训练序列中， 被分开的词随机被mask。 6.根据权利 要求4所述基于BERT改进模型的文本情感分析方法， 其特征在于， 所述BERT 改进模型采用深层的双向Transformer编码器构建， 在结构上最大化利用上下文信息； 所述权　利　要　求　书 1/2 页 2 CN 114781392 A 2Transformer编码器中包括字向量与位置编码、 多头自注 意力机制、 残差连接与层标准化和 前馈网络； 利用字向量与位置编码提供短文本中每个字的位置信 息， 使得字在 短文本中的依赖关 系和时序关系能够被识别； 利用多头自注意力机制， 通过计算得出短文本中每个字与句中其余字的相互关系， 使 得每个字向量均含有该短文本中所有字向量的信息； 经过多头自注意力机制处理的字向量输入到所述前馈网络中， 所述前馈网络有两层， 第一层的激活函数 是ReLU， 第二层是一个线性激活函数。 7.根据权利要求4所述改进训练方式的BERT短文本情感分析方法， 其特征在于， 所述 BERT改进模型最后一层Transformer的所有输出结果为B∈Rs*e， 即输出带有权重的特征 向 量集合， 其中s为以字为单位的文本 长度， e为特 征向量的维度。 8.根据权利要求4所述基于BERT改进模型的文本情感分析方法， 其特征在于， 所述 RoBERTa预训练模型在每次输入时对句子动态地进行遮蔽， 每次输入一个序列时均会生成 新的掩码模式。 9.根据权利要求4所述基于BERT改进模型的文本情 感分析方法， 其特征在于， 所述损失 函数的计算公式为： FL(pt)＝‑α(1‑pt)γlog(pt)， (1‑pt)γ表示调制因子， γ为聚焦参数， γ ∈[0,5]， γ取不同值对结果影 响不同， 当γ＝0时， FL＝CE， 等于传统的交叉熵 函数； 当γ>0 时， 降低了简单样 本的相对损失值， 将注意力放在困难样本和分错的样本上； α 为平衡权重， α ∈[0,1]， pt是类别概 率， t为不同类别的数量。 10.根据权利要求1所述一种基于BERT改进模型的文本情感分析方法， 其特征在于， 对 情感分类模型进行训练的过程中， 采用多次调参的形式对情感分类模型 的参数进行调整， 在参数调整 时使用Dropout策 略与L2正则化来避免过拟合 问题， 情感分类模型的参数至少 包括学习 率、 输入文本最大长度、 训练轮数； 并采用Warmup策 略训练， 在模型开始训练的时 候使用小的学习率， 之后在一定的训练步数之后使用预定的学习率， 在接近模型收敛点的 时候使用小的学习率； 在训练时， 使用Adam优化器修正学习率以及修正梯度； 并利用准确率 和F1值验证情感分类模型性能。权　利　要　求　书 2/2 页 3 CN 114781392 A 3