(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210251536.5 (22)申请日 2022.03.15 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 孙冬璞　张斯达　 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/242(2020.01) G06F 40/289(2020.01) G06F 16/31(2019.01) G06F 16/35(2019.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的属性级情感分析方法 (57)摘要 本公开涉及人工智能技术领域， 尤其涉及一 种属性级情感分析方法。 本公开包括： 提出了一 个端到端的属性级情感分析方法， 结合情感词 典， 从目标文本中分离出关键词文本。 目标文本 经由BERT模型向量化后得到目标文本向量， 采用 双向门控循环单元对目标文本向量提取目标文 本的语义信息。 关键词文本经由BERT模型向量化 后得到关键词文本向量， 经由注 意力计算后与目 标文本向量融合， 预测目标文本的属性词及情感 极性。 本公开实施例结合情感词典和深度学习方 法， 使模型更关注情感词信息， 显著提升了端到 端的属性级情感分析任务的准确度。 相比传统的 基于规则的情感分析方法和主流的基于深度学 习的情感分析方法， 本公开的实施例具有更理想 的效果。 权利要求书3页 说明书9页 附图2页 CN 114662498 A 2022.06.24 CN 114662498 A 1.一种基于深度学习的属性级情感分析 方法， 其特 征在于： 包括如下步骤： (1)对待进行情感分析的文本数据进行预处理， 得到目标文本， 并对目标文本数据进行 标注， 所述目标文本为已进行 过预处理的待情感分析文本； (2)确定领域或通用的情感词典， 情感词典中应至少显示或隐式包含情感词和情感词 极性； (3)目标文本根据情感词典， 分离出关键词文本， 所述关键词文本为经由情 感词典过滤 后分离出的情感词， 以及目标文本中标注的属性词所共同组成的文本序列； (4)目标文本经由向量化处理， 输入构建的深度学习模型进行计算， 得到目标文本计算 结果； (5)关键词文本经由向量化处理， 输入构建的深度学习模型进行计算， 得到关键词文本 计算结果； (6)目标文本计算结果与关键词文本计算结果融合后， 得到所述目标文本情感分析结 果。 2.根据权利要求1所述的文本情感分析方法， 其特征在于， 所述对待进行情 感分析的文 本数据进 行预处理， 得到目标文本， 并对目标文本数据进行标注， 所述目标文本为已进行过 预处理的待情感分析文本， 包括： (1.1)根据目标文本总数、 质量、 文本长度等因素， 确定训练数据集、 验证数据集和测试 数据集的分割情况； (1.2)对待 进行情感分析的文本进行清洗， 去除特殊字符； (1.3)对目标文本进行分词处理， 其中， 文本所包含的标点符号应作为独立的词元被分 割； (1.4)对分词处 理后的文本序列进行 标注。 3.根据权利要求1所述的文本情感分析方法， 其特征在于， 所述目标文本根据情感词 典， 分离出关键词文本， 所述关键词文本为经由情感词典过滤后分离出的情感词， 以及目标 文本中标注的属性词所共同组成的文本序列， 包括： 将情感词在情感词中的情 感极性或情感分值， 作为是否将该词加入关键词序列中的依 据。 4.根据权利要求1所述的文本情感分析方法， 其特征在于， 所述目标文本经由向量化处 理， 输入构建的深度学习模型进行计算， 得到目标文本计算结果， 包括： (4.1)采用BERT模型作为词向量方法， 对输入的目标文本进行向量 化处理； (4.2)将目标文本向量与关键词向量 拼接， 形成新的目标文本向量； (4.3)采用双向门控循环单 元模型对目标文本向量中的特 征进行提取。 5.根据权利要求1所述的文本情感分析方法， 其特征在于， 所述关键词文本经由向量化 处理， 输入构建的深度学习模型进行计算， 得到关键词文本计算结果， 包括： (5.1)采用BERT模型作为词向量方法， 对输入的关键词文本进行向量 化处理； (5.2)对关键词向量进行池化， 得到新的关键词向量； (5.3)将关键词向量与由双向门控循环单元输出的目标文本向量拼接， 获得新的关键 词向量； (5.4)将关键词向量输入注意力层， 进行注意力计算。权　利　要　求　书 1/3 页 2 CN 114662498 A 26.根据权利要求1所述的文本情感分析方法， 其特征在于， 所述目标文本计算结果与关 键词文本计算结果融合后， 得到所述目标文本情感分析 结果， 包括： 目标文本向量经由构建的深度学习模型计算后， 生成对应每个词元的情感分析结果， 包括是否为属 性词和情感极性， 关键词向量经 由构建的深度学习模型计算后， 生成对应于 当前文本的情感倾向， 最终的情感分析 结果由上述 二者计算得分的加 和决定。 7.根据权利要求2所述的文本情感分析方法， 其特征在于， 所述对分词处理后的文本序 列进行标注， 包括： 使用{B,I,E,O,S}表示词组的边界， 其中： B表示属性词组的开始位置； I表示属性词组的中间位置； E表示属性词组的结尾位置； O表示当前位置非属性词或属性词组； S表示当前位置为属性词组且当前属性词组仅有一个单词； 使用{POS,NEG,NEU}表示属性词组的情感极性， 其中： POS表示当前属性情感极性 为积极； NEG表示当前属性情感极性 为消极； NEU表示当前属性情感极性 为中立； 上述两组标签组合形成一组新的标签， 即{B ‑POS,B‑NEG,B‑NEU,I‑POS,I‑NEG,I‑NEU, E‑POS,E‑NEG,E‑NEU,S‑POS,S‑NEG,S‑NEU,O}， 依此规则对目标文本进行 标注。 8.根据权利要求4所述的文本情 感分析方法， 其特征在于， 所述采用BERT模型作为词向 量方法， 对输入的目标文本进行向量 化处理， 包括： (4.1.1)采用BERT模型的第10层、 第11层和第12层输出结果作为文本表示依据， 目标文 本的表示由BERT模型隐藏层加权融合后得 出； (4.1.2)所述加权求和， 其中权 重部分为： W＝[w12,w11,w10]； 隐藏层加权融合的计算过程 为： H＝W[h12,h11,h10]T， 其中： wi为第i层隐藏层所对应的权重值， hi代表BERT模型中第i层的CLS令牌向量， H为 语言表示的输出结果， 权重W作为可被网络学习的参数参与计算， BERT模型隐藏层的初始权 重均匀分配。 9.根据权利要求5所述的文本情 感分析方法， 其特征在于， 所述采用BERT模型作为词向 量方法， 对输入的目标文本进行向量 化处理， 包括： (5.1.1)采用BERT模型的第10层、 第11层和第12层输出结果作为文本表示依据， 目标文 本的表示由BERT模型隐藏层加权融合后得 出； (5.1.2)所述加权求和， 其中权 重部分为： W＝[w12,w11,w10]， 隐藏层加权融合的计算过程 为： H＝W[h12,h11,h10]T， 其中： wi为第i层隐藏层所对应的权重值， hi代表BERT模型中第i层的CLS令牌向量， H为权　利　要　求　书 2/3 页 3 CN 114662498 A 3