(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210301411.9 (22)申请日 2022.03.24 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 侯培国　夏宇同　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 张建 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/151(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于RoBERTa模型的情感分析方法及装 置 (57)摘要 本发明公开了一种基于RoBERTa模 型的情感 分析方法及装置， 属于自然语言处理技术领域， 包括获取文本情感分析数据集并进行预处理， 得 到训练集、 验证集和测试集； 提取训练集和验证 集的评论文本， 转换成无标签数据作为RoBERTa 模型预训练任务的语料； 构建RoBERTa ‑WWM‑ext 模型和双向独立循环神经网络并训练， 将已完成 预训练的RoBERTa ‑WWM‑ext模型的最后一层隐藏 层外接双向独立循环神经网络， 得到情感分析模 型， 其中， 双向独立循环神经网络需要对双向独 立循环神经网络输出的特征向量进行权重分配； 通过情感分析模 型， 对测试集进行情感极性预测 输出情感类别标签； 该方法可以有效提升文本情 感分析的精度表现。 权利要求书2页 说明书5页 附图1页 CN 114742066 A 2022.07.12 CN 114742066 A 1.一种基于RoBERTa模型的情感分析 方法， 其特 征在于， 包括： 获取情感分析 数据集并进行 数据预处 理， 得到训练集、 验证集和 测试集； 提取训练集和验证集的评论文本转换成无 标签数据集； 构建RoBERTa ‑WWM‑ext模型， 对无标签数据 集中的评论文本进行随机掩码处理， 得到掩 码标志位， 再通过对掩码标志位进行词预测的方式训练RoBERTa ‑WWM‑ext模型， 得到训练好 的RoBERTa ‑WWM‑ext模型； 构建双向独立循环神经网络并训练， 将完成掩码预测训练任务的RoBERTa ‑WWM‑ext模 型的最后一层隐藏层外接双向独立循环神经网络， 得到最 终的情感分析模型， 其中， 双向独 立循环神经网络需要对双向独立循环神经网络 输出的特 征向量进行权 重分配； 通过最终的情感分析模型进行情感极性预测， 将测试集中评论文本输入情感分析模 型， 输出情感类别标签。 2.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法， 其特征在于， 所述提 取训练集和验证集的评论文本转换成无 标签文本包括： 将无标签数据集的格式转换成设定的表格形式。 3.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法， 其特征在于， 所述构 建RoBERTa ‑WWM‑ext模型， 将无标签数据集中的评论文本进 行随机掩码处理， 得到掩码标志 位， 再通过对掩码标志位进行词预测的方式训练RoBERTa ‑WWM‑ext模型， 得到训练好的 RoBERTa‑WWM‑ext模型包括： 通过掩码预测的预训练过程， 更新RoBERTa ‑WWM‑ext模型的参数， 为RoBERTa ‑WWM‑ext 模型做情感分析任务时获得 更合理的初始化。 4.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法， 其特征在于， 所述构 建双向独立循环神经网络并训练， 将完成掩码预测训练任务的RoBERTa ‑WWM‑ext模型的最 后一层隐藏层外接双向独立循环神经网络， 得到最终的情感分析模型， 其中， 双向独立循环 神经网络需要对双向独立循环神经网络 输出的特 征向量进行权 重分配包括： 将样本序列编码为包含词向量、 位置向量、 段向量的输入序列， 将其输入RoBERTa ‑WWM‑ ext模型由多头自注意力机制组成的核心处理层进行特征提取； 构建双向独立循环神经网 络， 用于处理RoBERTa ‑WWM‑ext模型最后一层Transformer层输出的全部隐藏向量,结合正 向序列和反向序列的特 征向量， 学习句子中的长距离依赖信息 。 5.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法， 其特征在于， 所述双 向独立循环神经网络的结构式为： ht＝σ(Wxt+U⊙ht‑1+b) 式中， σ 为ReLU激活函数， W为权重矩阵， xt代表t时刻的输入， U代表循环层的权重， ht‑1表 示t‑1时刻的序列输出， b为偏置， 运 算符⊙代表矩阵U和ht‑1对应位置相乘。 6.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法， 其特征在于， 所述权 重分配公式为： 其中， ui为隐藏状态信息的非线性化， uw是随机初始化注意力矩阵， αi用来计算隐藏层权　利　要　求　书 1/2 页 2 CN 114742066 A 2中第i项对于文本序列在情感分析任务的信息相关度。 7.根据权利要求1所述的一种基于RoBERTa模型的情感分析方法， 其特征在于， 所述情 感分析模型通过交叉熵函数进行训练， 用于优化情感分析模型。 8.一种基于RoBERTa模型的情感分析装置， 其特 征在于， 包括： 获取模块， 用于获取情感分析数据集并进行预处理， 得到训练集、 验证集和测试集， 并 提取训练集和验证集的评论文本转换成无 标签数据集； 第一构建模块， 用于构建RoBERTa ‑WWM‑ext模型， 将无标签数据集 中的评论文本进行随 机掩码处理， 得到掩码标志位， 再通过对掩码标志位进行词预测的方式训练RoBERTa ‑WWM‑ ext模型， 得到训练好的RoBERTa ‑WWM‑ext模型； 第二构建模块， 用于构建双 向独立循环神经网络并训练， 将完成掩码预测训练任务的 的RoBERTa ‑WWM‑ext模型的最后一层隐藏层外接双向独立循环神经网络， 得到最终的情感 分析模型， 其中， 双向独立循环神经网络需要对双向独立循环神经网络输出 的特征向量进 行权重分配； 输出模块， 得到最终的情感分析模型， 将测试集中评论文本输入情感分析模型进行情 感极性预测， 输出情感类别标签。权　利　要　求　书 2/2 页 3 CN 114742066 A 3