(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210384509.5 (22)申请日 2022.04.13 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件科技园华 南师范大学软件学院 (72)发明人 项冠华　刘帅　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 张金龙 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种实体关系抽取方法、 装置、 电子设备及 存储介质 (57)摘要 本发明涉及一种实体关系抽取方法、 装置、 电子设备及存储介质。 本发明所述的实体关系抽 取方法包括： 获取待抽取实体关系的句子； 对待 抽取实体关系的句子进行编码， 得到句子表示； 对句子表 示进行依赖解析处理， 得到待抽取实体 关系的句子的结构信息； 对句子的结构信息使用 注意力机制和池化操作， 提取句子的局部特征和 全局特征， 得到基于关系的语义信息； 拼接结构 信息和语义信息， 得到待抽取实体 关系的句子对 应的句子表征； 对句子表征进行解码， 得到待抽 取实体关系的句子的实体关系三元组。 本发明所 述的一种实体关系抽取方法， 通过Bi ‑LSTM和GCN 两次对单词的依赖抽取， 和基于关系的注意力机 制训练， 提升 了模型的鲁棒 性。 权利要求书3页 说明书10页 附图3页 CN 115048926 A 2022.09.13 CN 115048926 A 1.一种实体关系抽取 方法， 其特 征在于， 包括以下步骤： 获取待抽取实体关系的句子； 对所述待抽取实体关系的句子进行编码， 得到句子表示， 其中， 所述句子表示包含句子 中每个词的向量表示； 对所述句子表示进行依赖解析处 理， 得到所述待抽取实体关系的句子的结构信息； 对所述句子的结构信 息使用注意力 机制和池化操作， 提取所述句子的局部特征和全局 特征， 得到基于关系的语义信息； 拼接所述结构信息和所述语义信息， 得到所述待抽取实体关系的句子对应的句子表 征； 对所述句子表征进行解码， 得到所述待抽取实体关系的句子的实体关系三元组。 2.根据权利要求1所述的一种实体关系抽取方法， 其特征在于， 对所述待抽取实体关系 的句子进行编码， 得到句子表示， 包括： 对于给定长度为n的句子s＝{W1， W2， ...， Wn}， 用xi表示句子中的每一个的单词表征Wi， 其 中 xi由 单 词Wi的 词嵌 入 位 置 嵌 入 和字 符 嵌 入 拼 接 而 成 ， 即 将所述待抽取实体关系的句子输入Bi ‑LSTM网络， 使用以下公式， 提取句子中每个单词 Wi对应的隐藏向量hi， 得到句子表示得到所述待抽取实体关系的句子的句子表示： 其中， hi为句子中相应位置第i个单词对应的隐藏向量。 3.根据权利要求2所述的一种实体关系抽取方法， 其特征在于， 对所述句子表示进行依 赖解析处 理， 得到所述待抽取实体关系的句子的结构信息， 包括： 将所述句子表示 生成对应的依赖树， 使用以下公式， 得到所述依赖树的节点表征 其中， Aij为邻接矩阵， 如果有边从节点i到节点j， 则Aij＝1和Aji＝1， 否则Aij＝0和Aji＝ 0； W(l)为权矩阵， bl为偏置向量， ρ 为激活函数， 为更新后的最终节点表征； 构建一个基于注意力机制的邻接矩阵 输出计算为值的加权和， 其 中权重由具有相应 键的查询函数计算， 加入多头注意力机制邻接矩阵的计算如下： 其中， Q和K都等于上一节中l_1层的集合表示 表示第t个头的邻接矩阵， WiQ， 和V是注意力机制中输入所需要相乘的矩阵； 使用以下公式， 更新依赖树中每一层的节点表征 权　利　要　求　书 1/3 页 2 CN 115048926 A 2其中， 为更新后的节点表征， ρ 为激活函数， 是更新完成的邻接矩阵， W(l)和 是 与注意力引导邻接矩阵 相关的权重矩阵和偏差项， 为连接后的节点表征， xj为节点 的初始输入， 即节点更新完成的 表示节点j的l层表征； 使用以下公式， 得到所述待抽取实体关系的句子对应的结构信息 hcomb： 其中， hout＝[h(1)；…； h(l)]， 是将1个分离的密连层的输出连接起来的输出； Wcomb为权重 矩阵， bcomb为线性变换的偏置向量， hi为句子中相应位置第i个单词对应的隐藏向量。 4.根据权利要求3所述的一种实体关系抽取方法， 其特征在于， 对所述句子的结构信 息 使用注意力机制和池化操作， 提取所述句 子的局部特征和全局特征， 得到基于关系的语义 信息， 包括： 将所述句子的结构信息输入平均池中进行平均池化处理， 使用以下公式， 得到句子的 全局表征Sg： Sg＝avg(hk) 其中， hk＝{hcomb1； ...； hcombi}； 将所述句子的全局表 征Sg、 所述句子的结构信息hcomb和关系嵌入矩阵R一起输入到基于 关系的注意力机制中， 使用以下公式， 得到基于关系的句子语义表征Sk和关系矩阵Rk； Sk， Rk＝attention(hk， Sg， R) 其中， Sk为句子的语 义表征， Rk为句子的关系矩阵， attention()为注意力机制计 算， R是 第k种关系的可训练的初始 矩阵； 拼接所述句子的全局表征Sg和语义表征Sk， 得到基于关系的语义信息Uk。 5.根据权利要求4所述的一种实体关系抽取方法， 其特征在于， 对所述句子表征进行解 码， 得到所述待抽取实体关系的句子的实体关系三元组， 包括： 将所述句子表征输入Bi ‑LSTM模型， 使用以下公式， 得到单词序列经过Bi ‑LSTM模型映 射后的句子表征； 其中， 为句子表征； 使用以下公式， 计算关系rk下第n个单词的预测标记的概 率P： 其中， wo为权重， bo为偏秩； 当P大于特定阈值时， 抽取P值 最大的两个实体组， 组成当前关系rk的实体关系三元组。 6.一种实体关系抽取装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 115048926 A 3