(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210203781.9 (22)申请日 2022.03.02 (71)申请人 湖北大学 地址 430062 湖北省武汉市武昌区友谊大 道368号 (72)发明人 游兰　彭庆喜　金红　 (74)专利代理 机构 北京金智普华知识产权代理 有限公司 1 1401 专利代理师 张晓博 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 面向公共安全事件分析的深度语义识别模 型及其构建方法 (57)摘要 本发明属于自然语言处理情感分析技术领 域， 公开了一种面向公共安全事件分析的深度语 义识别模型及其构建方法， 通过BERT预训练模型 获取评论文本的上下文语义特征表 示， 再结合双 向GRU提取深层非线性特征向量， 实现单模型下 的最优效果； 基于BERT系列预训练模型训练出表 现优异且具有差异化的多个情感分类器； 利用数 据扰动和投票策略的集成学习方法， 实现各模型 深层特征的充分融合。 本发明充分利用模型间的 差异性， 采用集成学习和投票策略融合多个模 型， 训练稳定且各方面表现均衡的情感分类模 型； 实验结果显示， BERT ‑BiGRU模型相较于其他 传统模型在两个公开数据集上具有更优的情感 识别效果。 权利要求书3页 说明书12页 附图3页 CN 114564565 A 2022.05.31 CN 114564565 A 1.一种面向公共安全事件分析的深度语义识别模型的构建方法， 其特征在于， 所述面 向公共安全事件分析的深度语义识别模 型的构建方法包括： 通过BERT 预训练模 型获取评论 文本的上下文语义特征表示， 再结合双向GRU提取深层非线性特征向量， 进行单模型优化； 基于BERT系列预训练模 型训练出表现优异且 具有差异 化的多个情感分类器； 利用数据扰动 和投票策略的集成学习方法进行 各模型深层特 征的融合。 2.如权利要求1所述的面向公共安全事件分析的深度语义识别模型的构建方法， 其特 征在于， 所述 面向公共安全 事件分析的深度语义识别模型的构建方法包括以下步骤： 步骤一， 对原 始数据集进行 预处理， 去除噪声数据； 步骤二， 构 建单个情感识别 模型， 将BERT预训练语言模型与BiGRU拼接得到文本分类模 型， 利用文本分类模型 得到分类结果； 步骤三， 构建集成情感识别模型， 分别通过数据扰动的方式和基于BERT系列预训练模 型得到多个情感基分类 器， 将步骤二的分类结果与集成模块输出的结果进行投票决策。 3.如权利要求2所述的面向公共安全事件分析的深度语义识别模型的构建方法， 其特 征在于， 所述步骤二中的BERT模 型采用Transformer的编码器作为主体模 型结构， 基于注意 力机制挖掘词语之间的关系， 用于并行训练并考虑全局信息； 在文本分类任务中， 文本通常由词向量表示， BERT模型在使用词向量和段向量的基础 上， 加入位置向量， 通过位置嵌入方式保存词 序信息， 从而对不同位置的字或词附加不同的 向量以示区分： 其中， pos表示位置索引， dmodel为词向量维度， PE表示在pos位置处对应的位置编码， 由 正弦sin和余弦cos函数生成， 再与对应位置词向量相加； 句子的开头使用[CLS]标记， 句子 的分隔和结尾使用[ SEP]标记； 在得到句子的输入表示后， BERT使用遮蔽语言模型MLM和下一句预测NSP联合训练； MLM 是指将文本中的词随机使用[ MASK]进行遮蔽， 让模 型进行预测； NSP是指从语料库中随机选 择两句话 拼接， 预测是否来自同一文本； BERT模型的核心是采用Transformer模型的编码器， 多头注意力是Trans former重要组 成部分， attention机制将目标字Query和其上下文字Key的相似性作为权重， 将上下字的 Value融入到目标字的Query中， 得到目标字的增强语义向量表示； 通过多次线性变换对Q (Query)， K(Key)， V(Value)投影， 最后将不同的attention结果进行拼接组成多头注意力， 使模型在不同的表示子空间学习到相关信息， 从而获得不同语义空间下词语的增强语义向 量； Transformer编码器加入残差和标准化模块， 接在Encoder端和Decoder端每个子模块权　利　要　求　书 1/3 页 2 CN 114564565 A 2的后面； 残差用于解决多层网络训练的问题， 让网络只关注当前差异的部 分， 用于防止网络 退化， 加速收敛； 标准化指Layer  Normalization， 用于对每一层的激活值进行归一化； α， β 为训练参数， μ和σ 表 示偏差和方差； 经过前馈神经网络， 进 行线性转换和ReLu激活函数得到 编码器的输出， 如公式所示： FNN＝max(0， xW1+b1)W2b2。 4.如权利要求3所述的面向公共安全事件分析的深度语义识别模型的构建方法， 其特 征在于， 将经过BERT模型得到的语义表示作为双向GRU模型的输入； 在双向GRU中， 每个GRU 单元包含两种门结构， 更新门、 重置门， 分别表示为rt， zt， 用于保持和更新状态信息并进行 传递； 更新门的作用类似LSTM的遗忘门和输入门， 决定上一时刻的状态信息被带入当前状 态的程度； 重置门控制上一时刻的状态信息被忽略的程度， 重置门的值越小代表忽略越多； 通过双向GRU模型 处理时序性问题， 利用整个文本序列的信息， 包括各个词之间的相互关系 信息， 并将所述信息用于对每 个词的处 理。 5.如权利要求3所述的面向公共安全事件分析的深度语义识别模型的构建方法， 其特 征在于， 将BERT的输出通过正向 获取到所有过去时间序列中的 完整上下文信息， 再通过反向 获取所有未来时间序列的完整上 下文， 计算公式如下： 其中， w为连接两层的权重， b为偏置向量， f为激活函数， 和 分别为正向GRU和负向 GRU输出； 双向GRU在正负向的隐藏层 上对输入表示dn进行计算， 得到dn隐藏状态ht， 将正负GRU采 用拼接策略： 得到双向GRU的隐藏状态， 计算公式如下： H＝{h1， h1， ...， hd}； 使用全局平均池化来代替全连接层， 全局平均池化层 没有参数， 整合全局信息， 将输出 的多维度特征， 经过全局平均池化得到一 维的特征向量， 送入softmax函数得到评论文本的 情感类别， 如公式所示： TEXTC＝softmax(Wt·H+bt)； 其中， Wt表示全局平均池化层的权重参数， bt表示偏置值， 最后得到BERT ‑BiGRU模型的 输出TEXT_C 。权　利　要　求　书 2/3 页 3 CN 114564565 A 3