(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210434984.9 (22)申请日 2022.04.24 (71)申请人 广东工业大 学 地址 510062 广东省广州市越秀区东 风东 路729号 (72)发明人 陈平华　林哲　 (74)专利代理 机构 广东广信君达律师事务所 44329 专利代理师 熊冰 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/284(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于词向量变形和双向位序卷积的文 本情感分析方法 (57)摘要 本发明公开了一种基于词 向量变形和双向 位序卷积的文本情感分析方法， 包括： 获取评价 语句， 将评价语句输入到训练好的带位序信息的 双向标准卷积网络模型中， 通过模 型输出文本情 感分析结果； 其中， 所述的带位序信息的双向标 准卷积网络模型包括词嵌入层、 位序信息层、 词 向量变形层、 卷积层、 双头 结构以及分类层； 所述 词嵌入层用于将评价语句中的词语转换为计算 机可以理解的词向量； 位序信息层用于对词向量 加上位序信息， 得到带位序信息的词向量； 词向 量变形层用于将词向量变形为词块矩阵， 最后拼 成句子矩阵； 卷积层用于对句子矩阵进行卷积操 作， 得到词向量特征； 分类层用于对拼接后的词 向量特征进行分类操作， 得到最终的文本情感分 析结果。 权利要求书2页 说明书8页 附图1页 CN 114742070 A 2022.07.12 CN 114742070 A 1.一种基于词向量变形和双向位序卷积的文本情感分析 方法， 其特 征在于， 包括： 获取评价语句， 将评价语句输入到训练好的带位序信息的双 向标准卷积网络模型中， 通过模型输出文本情感分析结果； 其中， 所述的带位序信息的双向标准卷积网络模型包括 词嵌入层、 位序信息层、 词向量变形层、 卷积层、 双头结构以及分类层； 所述词嵌入层用于将评价语句中的词语转换为计算机可以理解的词向量， 意思相近的 词语映射到向量空间中相近的位置； 位序信息层用于接收词嵌入层输出的词向量， 并对词向量加上位序信息， 得到带位序 信息的词向量； 位序信息采用对通道进行注意力机制的思想， 对评价语句中的每个词向量 进行卷积生成可训练的位序向量， 并乘回原词向量以强化上 下文联系； 词向量变形层用于接收带位序信息的词向量， 并将词向量变形为词块矩阵， 最后拼成 句子矩阵； 卷积层用于接收词向量变形层输出的句子矩阵， 并对其进行3 ×3卷积操作， 得到第一 词向量特 征； 双头结构包括与所述词嵌入层、 位序信息层、 词向量变形层以及卷积层并行的一个分 支； 所述的评价语句的词语顺序调转后输入该分支中， 经过该分支的词嵌入层、 位序信息 层、 词向量变形层以及卷积层处理， 得到该分支的卷积层输出的第二词向量特征； 将第一词 向量特征与第二词向量特 征进行拼接操作， 得到拼接后的词向量特 征； 分类层用于对拼接后的词向量特 征进行分类操作， 得到最终的文本情感分析 结果。 2.根据权利要求1所述的基于词向量变形和双向位序卷积的文本情感分析方法， 其特 征在于， 所述词嵌入层 采用wordtov ector模型进行词向量处理， 将 评价语句先进行分词， 然 后将词语表示成空间向量形式； wordtovector模型使用三层的全连接层生成词向量得到评价语句的词向量表示： S＝ [x1,x2,...,xn],xi∈Rd(i＝1,2,…,n)， 其中， R为实数集， d表示词向量的维度。 3.根据权利要求1所述的基于词向量变形和双向位序卷积的文本情感分析方法， 其特 征在于， 为求得词向量的位序信息， 使用n ×1卷积核在评价语句的词向量表示S上以1为步 长滑动生成的可学习的位置值， 并与词矩阵块相乘以保留位置信息； 词向量的位序信息c的 计算公式为： c＝f(W1·xi+b1) 其中xi为词向量， W1为卷积核的权重矩阵， b1为偏置， f为卷积核的激活函数； 添加了位 序信息的词向量表示 为： x′i＝c×xi 最终得到的含有位序信息的评价语句表示 为： Sp＝[x′1,x′2,...,x′n]。 4.根据权利要求1所述的基于词向量变形和双向位序卷积的文本情感分析方法， 其特 征在于， 对 于任一带位序信息的词向量x ′i＝[k1,k2,...,kh×h]， k为词向量中的元素， 该词向 量共有h×h个元素； 将其变形为如下的词块矩阵： 权　利　要　求　书 1/2 页 2 CN 114742070 A 2然后把评价语句的所有词向量的词块矩阵以行优先进行拼接， 若不够构 成一个方阵则 填充全为0的h ×h小方阵， 拼接后的句子矩阵： 5.根据权利要求1所述的基于词向量变形和双向位序卷积的文本情感分析方法， 其特 征在于， 所述分类层采用2层全连接层实现， 第1层采用神经元个数为8， 激活函数为t anh函 数的全连接层， 第2层采用神经 元个数为2， 激活函数为sigmo id的全连接层。 6.根据权利要求1所述的基于词向量变形和双向位序卷积的文本情感分析方法， 其特 征在于， 网络模型训练时， 首先准备好评价语句数据集， 分成训练集和测试集； 把训练集导 入网络模型进行训练， 首先对训练集的句 子用分词工具包进行分词， 分词后的各词语通过 次嵌入层生成词向量， 然后利用位序信息层对每个词向量添加 位序信息； 添加 位序信息后 的词向量在词向量变形层中进行变形处理， 将长度等于词向量维度的一维词向量变换为h ×h词块矩阵， 句子中的所有词向量的词块矩阵组成句子矩阵； 最后在卷积层使用3 ×3卷积 核对句子矩阵进行卷积得到词向量特征； 为了进一步保留原有句 子位置信息， 通过双头结 构得到句 子反序后经词嵌入层、 位序信息层、 词向量变形层以及卷积层处理饿到的词向量 特征， 两个词向量特征拼接后， 使用全连接层进行文本情感分类； 训练集对网络模型训练 后， 用测试集进行测试， 得到最终的网络模型。 7.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 处理器执行计算机程序时实现根据权利要求 1‑6中任一权 利要求所述基于词向量变形和双向位序卷积的文本情感分析 方法的步骤。 8.一种计算机可读存储介质， 计算机可读存储介质存储有计算机程序， 其特征在于， 计 算机程序被处理器执行时实现根据权利要求 1‑6中任一权利要求所述基于词向量变形和双 向位序卷积的文本情感分析 方法的步骤。权　利　要　求　书 2/2 页 3 CN 114742070 A 3