(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210281501.6 (22)申请日 2022.03.21 (71)申请人 河海大学 地址 211100 江苏省南京市江宁开发区佛 城西路8号 (72)发明人 戚荣志　赵小涵　李水艳　毛莺池　 黄倩　高逸飞　陈子琦　 (74)专利代理 机构 南京乐羽知行专利代理事务 所(普通合伙) 32326 专利代理师 李玉平 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06F 40/211(2020.01) G06F 40/289(2020.01)G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于门控机制和图注意力网络的中文实体 关系抽取方法 (57)摘要 本发明公开了一种基于门控机制和图注意 力网络的中文实体关系抽取方法， 首先， 使用中 文BERT预训练模型将文本转换为机器可以识别 的向量形式； 其次， 将实体嵌入拼接到每个词嵌 入后面， 采用一种全局信息门控机制， 计算门控 向量， 实现词嵌入的实体语义强化； 然后， 对文本 进行依存句法分析， 获得依存句法树， 构造出邻 接矩阵、 依赖类型矩阵和依赖方向矩阵， 使用掩 码自注意力求得注意力权重矩阵， 进而在图注意 力网络中对文本进行特征提取； 最后， 从图注意 力网络的输出中， 获取两个实体和句子的表征向 量， 经过多层感知机将该向量转换到分类空间， 输入至分类 器中完成关系分类 。 权利要求书4页 说明书8页 附图2页 CN 114722820 A 2022.07.08 CN 114722820 A 1.一种基于门控机制和图注意力网络的中文实体关系抽取方法， 其特征在于， 包含以 下步骤： 步骤1)使用中文BERT预训练模型将文本转换为机器可以识别的向量形式； 步骤2)将实体嵌入拼接到每个词嵌入后面， 采用一种全局信息门控机制， 计算门控向 量， 实现词嵌入的实体 语义强化； 步骤3)对文本进行依存句法分析， 获得依存句法树， 构造出邻接矩阵、 依赖类型矩阵和 依赖方向矩阵， 使用掩码自注意力求得注意力权重矩阵， 进而在图注意力网络中对文本句 子进行特征提取； 步骤4)从图注意力网络的输出中， 获取两个实体和句子的表征向量， 经过多层感知机 将该表征向量 转换到分类空间， 输入至分类 器中完成关系分类。 2.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法， 其 特征在于， 所述步骤1)的使用中文BERT预训练模型将文本转换为机器可以识别的向量形 式， 即文本 到词向量； 包 含以下过程： 1‑1)将句子s分割为一个字序列， 然后调用BERT预训练模型将字序列向量化， 形成字向 量序列{c1,c2,…}； 1‑2)采用现成的自然语言处 理工具将句子进行分词得到词序列； 1‑3)利用第一步的字向量序列{c1,c2,…}， 将词序列初始化为词向量序列{v1,v2,…}， 规则为， 词向量是其所包 含字的向量的加 和求平均。 3.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法， 其 特征在于， 所述步骤2)中词嵌入的实体语义 强化指的是对于BERT模型转换得到的词嵌入进 行实体语义增强， 具体包 含以下步骤： 2‑1)将头实体和尾实体的嵌入表示拼接， 然后使用一个前馈网络将两个实体的语义信 息进行融合， 其过程公式化 为： ve＝tanh(We[vh,vt]+be) 其中， vh和vt分别对应头尾实体的词嵌入， 是可学习的参数矩阵， 用于拼 接实体嵌入的线性转换， 是一个偏置项， t anh为双曲正切函数， ve是融合了头尾 实体信息的实体嵌入； 2‑2)将该融合后的实体嵌入与句子 中每个词语的词向量进行拼接， 初步得到实体嵌入 增强的候选词向量； 同时， 将这些候选词向量加和求平均， 获得融合全局信息和实体嵌入的 监督向量 以上过程可以表示 为： 其中， 表示第i个词语的候选词向量， n 为句子s中词语的数量。 2‑3)以监督向量与候选词向量 为输入， 输出每 个候选词向量所对应的门控向量： 权　利　要　求　书 1/4 页 2 CN 114722820 A 2其中， 是一个需要训练的参数矩阵， 是偏 置项， 运算符⊙表示将两端向量按元 素相乘， sigmo id函数输出 范围为(0,1)； 2‑4)计算第i个词语在经过实体嵌入增强后的词嵌入表示 将该词语的候选词向 量与对应的门控向量按元 素相乘， 其计算过程如下式： 4.根据权利要求1所述的基于门控机制和图注意力网络的中文实体关系抽取方法， 其 特征在于， 所述步骤3中根据句子的依存句法树构 造出邻接矩阵、 依赖类型矩阵和依赖方向 矩阵， 采用掩码自注意力机制计算注意力转移权重， 进而在图注意力网络中对文本进行特 征提取， 具体步骤， 包括： 3‑1)根据句子的依存句法树构造邻接矩阵A， 设依存句 法树上有n个结点， 那么可以使 用一个n×n的邻接矩阵A来表示该依存句法树； 当结点i和结点j之间存在依赖边时， A中元 素ai,j和aj,i为1， 否则为0， 此时A是一个无向图； 特别 地， 依存树转换的邻接矩阵中， 每个结 点都有一个自旋边， 即ai,i＝1； 根据依存句法树的提供的依赖类型和依赖方向信息， 构造依赖类型矩阵T和依赖方向 矩阵D的构 造方式； 依赖类型矩阵T大小为n ×n， 若结点i和结点j的依赖类型为nsubj， 则T中 元素ti,j的值为type_to_id_mapping(n subj)， type_to_id_mapping表示依 赖类型到数值的 映射； 依赖方向矩阵D大小同样为n ×n， 若存在依赖边i →j， 则元素di,j＝1表示该依赖边是 正向的， 反 之dj,i＝‑1表示依赖边是反向的； 3‑2)图注意力网络采用了一种掩码自注意力 机制， 在每一层计算一个全新的信息传递 的注意力权重矩阵， 该权重矩阵不仅完全保留了原始依存句法树的结构信息， 而且赋予了 依赖边不同的权重。 实体嵌入增 强后的词向量序列为 同时是图注意力网络 的初始输入 符号 表示第i个词语在l层的隐层向量。 在一个L层的图注意 力网络中， 第l层会使用掩码自注意力计算得到一个n ×n邻接矩阵P(l)， 表示结点i和结 点j之间依赖边的权 重， 其计算过程如下式： 其中， ai,j表示原始的邻接矩阵中的权重， 它只有0， 1两种取值， 当ai,j＝0时， 对应自注 意力计算得到的 当ai,j＝1时， 表示依赖类型ti,j所对应依赖类 型的嵌入向量， fun( ·)是一个注意力函数， 用于计算两个节点间依赖边的重要程度值， 即 ei,j， 该注意力函数的具体细节如下式所示： 其中， LeakyRelu是激活函数， [ ·]表示向量 的拼接操作， f(di,j)表示一个与依赖边方权　利　要　求　书 2/4 页 3 CN 114722820 A 3