(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210398610.6 (22)申请日 2022.04.15 (71)申请人 重庆理工大 学 地址 400054 重庆市巴南区李 家沱红光大 道69号 (72)发明人 王勇　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 张乙山 (51)Int.Cl. G06F 40/247(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) (54)发明名称 基于增强语义句法信息的方面级情感分类 方法 (57)摘要 本发明具体涉及基于增强语义句法信息的 方面级情感分类方法， 包括： 获取待测文本并输 入经过预先训练的情感分类模型中， 输出对应的 分类预测结果； 情感分类模型首先通过BERT预训 练模型调整待测文本的词向量表示生成初级上 下文表示； 然后通过图注意力层提取上下文句法 信息生成次级上下文表示； 进一步更新词向量生 成初级词嵌入表示和次级词嵌入表 示， 并平均池 化生成粗粒度表示； 再将初 级上下文表示和次级 上下文表示中的方面词最大池化作为细粒度表 示； 进而融合粗粒度表示以及细粒度表示中相同 的粒度信息生成多粒度融合信息； 最后通过分类 器基于多粒度融合信息进行情感分类， 得到分类 预测结果。 本发 明能够有效克服噪音影 响并能够 增强语义句法信息 。 权利要求书3页 说明书9页 附图3页 CN 114676687 A 2022.06.28 CN 114676687 A 1.基于增强语义句法信息的方面级情感分类方法， 其特 征在于， 包括以下步骤： S1： 获取待测文本； S2： 将待测文本 输入经过预先训练的情感分类模型中， 输出对应的分类预测结果； 其中， 情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示， 生成初级 上下文表示； 然后通过图注意力层提取初始上下文表示中的上下文句法信息， 生成次级上 下文表示； 进一步通过特定方面的注意力网络更新初级上下文表示和次级 上下文表示中的 词向量， 生成初级词嵌入表示和次级词嵌入表示， 并平均池化生成初级词嵌入表示和次级 词嵌入表示的粗粒度 表示； 再将初级 上下文表示和次级上下文表示中的方面词最大池化作 为细粒度 表示； 进而融合初级词嵌入表示和次级词嵌入表示的粗粒度 表示以及初级上下文 表示和次级上下文表示方面词的细粒度表示中相同的粒度信息， 生成多粒度融合信息； 最 后通过分类 器基于多粒度融合信息进行情感分类， 得到分类预测结果； S3： 将情感分类模型输出的分类预测结果作为待测文本的方面级情感分类结果。 2.如权利要求1所述的基于增强语义句法信 息的方面级情感分类方法， 其特征在于： 步 骤S2中， 通过如下步骤生成初级上 下文表示： S201： 将待测文本对应转换为上 下文序列 和方面词表示 其中wa是wc的子序列； S202： 将上 下文序列和方面词表示 转换为如下w的形式， 输入BERT预训练模型中； S203： 通过BERT预训练模型输出如下的初级上 下文表示hse； hse＝{hcls， h1，…， hn， hn+1， hn+2，…， hn+m+1， hn+m+2}； 式中： hcls表示BERT预训练模型通过池化值得到情感分类信息； h1，…， hn表示上下文的 词向量表示。 3.如权利要求1所述的基于增强语义句法信 息的方面级情感分类方法， 其特征在于： 步 骤S2中， 通过如下步骤生成次级上 下文表示： S211： 通过多头自注意力网络聚合初级上下文表示中各个节点相邻节点的信息， 得到 具有句法信息的上 下文表示； 式中： 表示多头自注意力网络中l+1层的i个词向量； 表示更新权重； 表示第l 层K个头的学习参数； N(i)表示第i个节点的相 邻节点域； 表示拼接多头自注意力网络K 个头的信息； 表示第l层的上下文表示， 如果l＝1则为BERT预训练模型最后一层的输出； 表示学习参数； 和 表示可学习转换矩阵； 分别表示l层第K个头第i和j个 单词的词向量； d表示维度大小；权　利　要　求　书 1/3 页 2 CN 114676687 A 2S212： 通过 逐点卷积变换对句法信息进行变换， 生成次级上 下文表示hsy； 式中： h1表示经过第l层图注意力层中图注意力计算的输出； σ 表示RELU激活函数； *表示 卷积操作； 和 表示卷积 操作的学习参数； 和 表示残差参数。 4.如权利要求1所述的基于增强语义句法信 息的方面级情感分类方法， 其特征在于： 步 骤S2中， 更新初级上 下文表示和次级上 下文表示时， 通过Mask向量 来屏蔽方面词的影响； 设A为方面词的索引集， 生成如下的Mask向量； 5.如权利要求4所述的基于增强语义句法信 息的方面级情感分类方法， 其特征在于： 步 骤S2中， 通过 特定方面的注意力网络更新初级上 下文表示hse时的公式如下； 式中： 表示通过特定方面的注意力网络更新后的初级词嵌入表 示； 表示初级上 下文表示 的方面词最大池化 值； 表示注意力更新权 重； Wse表示注意力学习矩阵。 6.如权利要求1所述的基于增强语义句法信 息的方面级情感分类方法， 其特征在于： 步 骤S2中， 通过 特定方面的注意力网络更新次级上 下文表示 时的公式如下； 式中： 表示通过特定方面的注意力网络更新后的次级词嵌入表示； 表示更新权 重； 表示次级上 下文表示 的方面词最大池化 值； Wsy表示注意力学习矩阵。 7.如权利要求1所述的基于增强语义句法信 息的方面级情感分类方法， 其特征在于： 步 骤S2中， 分别计算初级上下文表示和次级上下文表示的方面词最大池化值 和 以 及初级词嵌入表示和次级词嵌入表示的方面词平均池化值 和 然后通过多粒度门 机制结合如下公式计算对应的多粒度融合信息 hg； g＝σ(Wg[x1； x2]+bg)； 式中： σ 表示Sigmod激活函数， 使其位于[0， 1]来控制融合权重； Wg表示可学习参数； bg表 示偏差项。 8.如权利要求7所述的基于增强语义句法信 息的方面级情感分类方法， 其特征在于： 步 骤S2中， 通过如下公式将多粒度融合信息hg与初级上下文表示hse中的情感分类信息hcls融权　利　要　求　书 2/3 页 3 CN 114676687 A 3