(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210354141.8 (22)申请日 2022.04.06 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 申请人 陕西方寸积慧智能科技有限公司 (72)发明人 魏泽阳　张文博　姬红兵　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种改进训练方式的BERT短文本情感分析 方法 (57)摘要 一种改进训练方式的BERT短文本情感分析 方法， 构建短文本情感分析模型， 包括输入层、 语 义特征提取层、 池化层、 全 连接层和分类输 出层； 采集数据集并预处理； 在输入层编码得到输入文 本的词向量表 示； 在词向量中添加扰动得到对抗 样本； 语义特征提取层基于BERT模型， 对对抗样 本进行语义特征提取， 输出特征向量； 经池化层、 全连接层后， 利用Softmax进行归一化处理从而 得到最终的情感极性分类结果； 本发 明采用对抗 训练方式训练该短文本情感分析模 型， 解决了因 中文一词多义、 网络新词等造成的情感错分， 以 及传统模型无法在提取上下文信息的同时提取 局部关键信息的问题， 增强了模型鲁棒性， 同时 缓解了模型训练效率差、 模型性能退化的问题。 权利要求书2页 说明书7页 附图2页 CN 114757182 A 2022.07.15 CN 114757182 A 1.一种改进训练方式的BERT短文本情感分析 方法， 其特 征在于， 包括： 步骤1： 构建短文本情感分析模型， 所述短文本情感分析模型包括输入层、 语义特征提 取层、 池化层、 全连接层和分类输出层； 步骤2： 采集数据集， 所述数据集为公开数据集或通过采集短文本评论数据自行构造的 数据集； 当为自行构造的数据集时， 对采集的每一条短文数据， 均标注其情感极性标签， 情 感极性包括hap py、 sad、 angry、 surprise、 neut ral、 fear六种情绪； 步骤3： 对数据集中的短文数据进行预处理， 去除对情感分析无用的字符， 并将非简体 中文的内容转为简体中文， 得到清洗后的短文本数据集， 方便进行后续的短文本情感分析 模型的构建； 步骤4： 在输入层， 对于输入的简体中文文本， 首先进行分词， 然后对分词后的文本编 码， 得到输入文本的词向量表示， 该词向量由字向量、 文本向量、 位置向量 三部分相加所 得； 步骤5： 在所述词向量中添加一个 扰动得到对抗样本； 步骤6： 所述语义特征提取层基于BERT模型， 对所述对抗样本进行语义特征提取， 输出 特征向量， 得到特征向量矩阵B∈Rs*e， 其中s为以字为单位的文本长度， e为特征向量的维 度； 步骤7： 池化层对所述特征向量进行池化处理， 降维、 去除冗余信息， 对特征进行压缩， 简化网络复杂度， 将池化后的特 征向量输出到全连接层； 步骤8： 所述全连接层基于池化后的特征向量提取语义特征， 捕捉情感信息， 最后利用 Softmax分类函数对全连接层输出的特征向量进行归一化处理， 得到最终的情感极性分类 结果； 步骤9： 训练所述短文本情感分析模型， 对抗训练过程 为： step1， 计算词向量x沿模型前向传播的损失值， 然后反向传播得到损失函数关于输入 词向量x的梯度g， fθ()是神经网络函数， 获取预测值， y是样本的真 实情感极性标签， L(  )是损失函数； step2， 由公式 计算扰动radv， 其中∈表示扰动空间； step3， 将扰动radv添加进词向量x中， 即x+radv， 计算x+radv沿模型前向传播的损失值， 然 后反向传播得到损失函数关于x+radv的梯度g′， 不断迭代， 找到一个使损失函数关于x+radv 与真实情感极性标签y最大的损失值， 此时的radv即为最佳扰动； step4： 将最佳扰动添加进词向量， 即当扰动固定时， 训练模型使损失函数关于输入样 本下与真实情感极性标签y最小的损失值； 当损失函数 的损失值在连续两个迭代过程中趋 于稳定时， 结束模型的训练过程， 得到 短文本情感分析模型， 利用该短文本情感分析模型即 可进行短文本情感分析。 2.根据权利要求1所述改进训练方式的BERT短文本情 感分析方法， 其特征在于， 所述步 骤4， 分词与编码的方法为： 通过WordPiece模型进行分词， 直接将单字作 为构成文本的基本单位， 即一个字为一个 词， 根据查询词向量表将文本中的每个字转换为一维的字 向量， 文本 向量的取值在模型训 练过程中自动学习， 用于刻画文本的全局语义信息， 并与单字的语义信息相融合； 对不同位权　利　要　求　书 1/2 页 2 CN 114757182 A 2置的字分别附加一个不同的向量以作区分， 最后将字向量、 文本向量、 位置向量加和得到输 入文本的词向量表示。 3.根据权利要求1所述改进训练方式的BERT短文本情 感分析方法， 其特征在于， 所述步 骤5， 在所述词向量中添加的扰动为 最佳扰动。 4.根据权利要求1所述改进训练方式的BERT短文本情 感分析方法， 其特征在于， 所述步 骤6， BERT模 型采用深层的双向Transformer编码器构建， 在结构上最大化利用上下文信息； 所述Transformer编码器中包括字向量与位置编码、 多头注 意力机制、 残差连接与层标准化 和前馈网络； 利用字向量与位置编码提供短文本中每个字的位置信 息， 使得字在 短文本中的依赖关 系和时序关系能够被识别； 利用多头自注意力机制， 通过计算得出短文本中每个字与句中其余字的相互关系， 使 得每个字向量均含有该短文本中所有字向量的信息； 将利用多头自注意力机制得到的字向量输入到所述前馈网络中， 所述前馈网络有两 层， 第一层为激活函数ReLU， 第二层是一个线性激活函数。 5.根据权利要求4所述改进训练方式的BERT短文本情感分析方法， 其特征在于， 所述 BERT模型最后一层Transformer的所有输出 结果， 即特 征向量矩阵B∈Rs*e。 6.根据权利要求1所述改进训练方式的BERT短文本情 感分析方法， 其特征在于， 所述步 骤7， 池化层利用最大 ‑平均池化对特 征向量进行池化操作。 7.根据权利要求1所述改进训练方式的BERT短文本情 感分析方法， 其特征在于， 所述步 骤9， 采用多次调参的方法对短文本情感分析模型的超参数进行调整， 在参数调整时使用 Dropout策略与L2正则化 来避免模型的过拟合问题。权　利　要　求　书 2/2 页 3 CN 114757182 A 3