(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210317386.3 (22)申请日 2022.03.29 (71)申请人 河海大学 地址 210024 江苏省南京市 鼓楼区西康路1 号 (72)发明人 陆佳民　习宇琦　冯钧　王众沂　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06F 40/211(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于事件要素交互与标签语义增强的 事件论元抽取方法 (57)摘要 本发明公开了一种基于事件要素交互与标 签语义增强的事件论元抽取方法， 首先， 进行数 据集文本的预处理， 输出预处理好的文本句和论 元角色集合； 其次， 结合预训练语言模型BERT将 文本向量化， 输出单词的上下文向量表示， 并同 时使用词嵌入技术将论元角色标签向量化； 再 次， 利用双向长短期记忆网络和前馈神经网络识 别出候选论元跨度； 然后， 基于注意力机制构建 事件要素交互模块， 提取事件要素间的相关关系 语义特征； 最后， 基于注意力机制构建标签语义 增强模块， 实现候选论元的论元角色分类。 本发 明基于深度学习技术充分建模事件要素间的信 息交互， 利用标签语义帮助论元角色分类， 具有 良好的事 件论元抽取性能。 权利要求书2页 说明书6页 附图2页 CN 114648016 A 2022.06.21 CN 114648016 A 1.一种基于事件要素交互与标签语义增强的事件论元抽取方法， 其特征在于， 包括以 下步骤： (1)对预先获取的数据集文本进行 预处理， 输出预处理好的文本句和论元角色集 合； (2)采用预训练语言模型BERT将文本向量化， 输出单词的上下文表示， 并同时使用词嵌 入技术将论元角色标签向量 化； (3)利用双向长短期记 忆网络和前馈神经网络识别出候选论元跨度； (4)构建事件要素的跨度表示序列spans＝{触发词， 先验事件类型， 候选论元1， …， 候 选论元m}， 对触发词相关信息与所有候选论元进行联合建模， 并借鉴Transformer模型的 multi‑head self‑attention机制， 同时提取触发词相关信息 ‑论元间的相关关系和论元 ‑ 论元间的相关 关系； (5)设置一个注意力网络层ATT度量候选论元与论元角色标签之间的相关程度， 从而将 论元角色的标签 语义特征显式地指导 论元角色 分类。 2.根据权利要求1所述的基于事件要素交互与标签语义增强的事件论元抽取方法， 其 特征在于， 所述 步骤(1)包括以下步骤： (11)根据 预定义的事件本体提取所有论元角色类型， 组织得到预处理好的论元角色集 合； (12)将数据集文本中的XML文档拆分为 一个个文本句； (13)根据XML文档中的标签对应关系， 组织得到预处 理好的每 个文本句。 3.根据权利要求1所述的基于事件要素交互与标签语义增强的事件论元抽取方法， 其 特征在于， 所述 步骤(2)包括以下步骤： (21)将预处理好的文本句组织成<事件类型， 文本句>句子对的形式， 具体是{[CLS], Event_Type,[SEP],S,[SEP]}的形式， 其中[CLS]和[SEP]是特殊符号， Event_Type代表文本 句的事件类型， S代 表文本句自身； 输入预训练语言模型BERT将文本向量 化； (22)将预处理好 的论元角色集合利用word2vec技术， 使用嵌入层Embedding将论元角 色标签向量 化。 4.根据权利要求1所述的基于事件要素交互与标签语义增强的事件论元抽取方法， 其 特征在于， 所述 步骤(3)包括以下步骤： (31)将已经向量化的文本句输入双向长短期记忆网络BiLSTM， 提取文本句的序列特 征， 输出经过序列特 征提取的单词向量序列； (32)使用两个独立的带有Sigmoid激活函数的前馈神经网络FFNN， 每个单词表示xi， 即 BiLSTM输出的序列上下文 特征向量中的第i个， 分别经过两个前馈神经网络， 然后分别使用 Sigmoid激活函数， 表示 为： ps(xi)＝Sigmo id(FFNNs(xi)) pe(xi)＝Sigmo id(FFNNe(xi)) 根据ps(xi)和pe(xi)是否超过预先设定的概率阈值， 从而判断该单词是否为候选论元跨 度的开始位置或者结束位置， 完成二元分类； 采取最近的候选论元开始 ‑候选论元结束对 匹配原则， 构 成所有的候选论元跨度； 采用 二元交叉熵损失L ossstart和Lossend作为论元跨度二元分类的目标函数， 表示 为： Lossstart＝BinaryCros sEntropy(Ys,Ps)权　利　要　求　书 1/2 页 2 CN 114648016 A 2Lossend＝Binarycros sEntropy(Ye,Pe) 其中， Ys代表文本句S中真实的论元跨度开始位置情况， Ys中的1代表该单词是开始位 置， 0代表不是开始位置； Ye代表文本句S中真实的论元跨度结束位置情况， 其中1代表该单 词是结束位置， 0代表不 是结束位置； Ps和Pe分别代表文本句S中各个单词被预测为开始位置 和结束位置的概 率。 5.根据权利要求1所述的基于事件要素交互与标签语义增强的事件论元抽取方法， 其 特征在于， 所述 步骤(4)基包括以下步骤： (41)根据候选论元开始 ‑候选论元结束对提供的区间范围， 使用经过预训练语言模型 BERT向量化的文本向量， 对触发词、 先验事件类型和所有候选论元进 行跨度表征； 对各个跨 度区间范围的词向量使用加 和平均； (42)将所有的跨度表示连接起 来， 得到输入序列spans， 输入到Transformer模型中； (43)借助于Transformer模型的自注意力机制对输入序列spans的语义信息进行特征 编码； (44)Transformer模型输出论元i的特 征表示Hi。 6.根据权利要求1所述的基于事件要素交互与标签语义增强的事件论元抽取方法， 其 特征在于， 所述 步骤(5)包括以下步骤： (51)将论元向量表征和标签嵌入向量表征作为输入； (52)经过计算论元向量表征和标签嵌入向量表的注意力分数， 得到该论元特定于每一 种论元角色标签的注 意力得分； 具体来说， 对于Transformer模 型输出的一个论元跨度表征 Hi， 和论元角色标签嵌入表El＝{l1,l2,…,l|R|}， 其中|R|代表论元角色的种类数量； 注意力 网络ATT以Hi和El为输入， 计算Hi对每一个标签lj的注意力权 重系数αj， 表示为： s(lj,Hi)＝vTtanh(Wlj+UHi+bj) 其中， W和U为可学习的参数矩阵， bj是一个偏置项； 模型选择归一化后注意力得分αj最 高的类别作为该论元的论元角色； 采用交叉熵损失Lossrole作为论元角色分类的目标函数， 表示为： Lossrole＝CrossEntropy(Yr,Pr) 其中， Yr代表文本句S中真实的论元角色， Yr中的1代表该论元扮演了角色， 0则代表没 有； Pr代表文本句S中各个单词被预测为各种论元角色的概率； 训练的目标是最小化论元跨 度识别的交叉熵损失Lossstart、 Lossend和论元角色分类的交叉熵损失Lossrole的总和； 训练 过程中使用AdamW优化器更新模型的参数， 并使用Dropout机制防止过拟合。权　利　要　求　书 2/2 页 3 CN 114648016 A 3