(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210365659.1 (22)申请日 2022.04.08 (65)同一申请的已公布的文献号 申请公布号 CN 114492460 A (43)申请公布日 2022.05.13 (73)专利权人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 申时荣　周恒　漆桂林　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. G06F 40/30(2020.01) G06F 40/216(2020.01) G06F 16/35(2019.01) G06N 20/00(2019.01) (56)对比文件 CN 113901229 A,2022.01.07CN 112507691 A,2021.0 3.16 CN 10987195 5 A,2019.0 6.11 CN 112507124 A,2021.0 3.16 US 2011137853 A1,201 1.06.09 CN 112836502 A,2021.0 5.25 王红 等.航空安全 事故因果关系抽取方法 的研究. 《计算机 工程与应用》 .2020,第5 6卷(第 11期), 郑巧夺 等.基 于双层CNN-BiGRU- CRF的事件 因果关系抽取. 《计算机 工程》 .2021,第47 卷(第5 期), Shirong Shen 等.Improved distant supervisi on relati on extracti on based o n edge-reaso ning hybrid graph model. 《Journal of Web Semantics》 .2021, Sendong Zhao 等 .Eventcausal ityextracti onbasedonconnectiv esanalysis. 《Neurocomputi ng》 .2016,第173卷 审查员 吴姝泓 (54)发明名称 基于衍生提示学习的事件因果关系抽取方 法 (57)摘要 本发明公开了一种基于衍生提示学习的事 件因果抽取方法， 该方案利用于因果关系抽取相 关的衍生任务增强因果关系抽取模型的训练效 果。 首先， 通过自然语 言中因果关系的表达 特征， 在因果关系抽取任务上衍生出两个新的任务， 分 别是因果提示词预测和因果事件 预测。 因果提示 词预测旨在识别文本中表达因果关系的显示提 示词， 因果事件 预测旨在结合上下文语义预测与 目标事件有因果关系的其他事件。 随后， 将因果 关系抽取和两个衍生任务建模为提示学习形式， 并设置了门控单元将衍生任务的信息提供给因 果关系抽取模型。 最后， 通过基于教师机制的监 督学习激发预训练自然语言模型中与这些任务相关的潜力获得最终的因果关系抽取模型。 权利要求书2页 说明书8页 附图1页 CN 114492460 B 2022.07.12 CN 114492460 B 1.基于衍 生提示学习的事 件因果关系抽取 方法， 其特 征在于， 该 方法包括以下步骤： 步骤1） 构建两个因果关系抽取的衍 生任务； 步骤2） 构建因果关系抽取任务的提 示模板； 步骤3） 构建衍 生任务的提 示模板； 步骤4） 构建带有门控单 元的衍生提示因果关系抽取模型； 步骤5） 通过基于教师机制的监 督学习训练 因果关系抽取模型； 步骤6） 基于提 示的因果关系抽取； 其中， 步骤1） 包括以下步骤： 1‑1） 构建因果 提示词预测衍 生任务， 具体如下： 衍生任务中的因果提示词预测任务， 其输入为一个句子和句子中的两个事件， 其目标 为预测句子中决定所述两个事件之 间因果关系的提示词， 如果这两个事件没有因果关系或 者句子中不存在明显的提 示词， 则输出空； 1‑2） 构建因果事 件预测衍 生任务， 具体如下： 衍生任务中的因果事件预测任务， 其输入为一个句子和句子中的一个事件， 其目标为 预测句子中与输入事件有因果关系的其他事件， 如果句子中不包含与输入事件有因果关系 的事件， 则输出为空； 其中， 步骤2） 具体如下： 将因果关系抽取任务转换为了MaskLanguageModel任务， 具体 步骤如下： 所述步骤2） 为因果关系抽取设置带有Mask符号和可学习符号的自然语 言提示模 板， 通过模板将衍生任务转换为预测提示模板中的Mask位置上的词的形式即 MaskLanguageModel任务， 同时新增三个标签词到语言模型字典， 分别是Cause、 Causedby和 NA， 这三个标签词将作为基于提 示的因果关系抽取的目标词； 其中， 步骤3） 将衍 生任务转换为了 MaskLanguageModel任务， 具体如下： 所述步骤3） 为两个衍生任务设置带有Mask符号、 SEP符号和可学习符号的自然语言提 示模板， 通过模板将衍生任务转换为预测提示模板中的Mask位置上的词的形式即 MaskLanguageModel任务， 目标词是输入句子中的词的集合和nothing， 其中nothing表示 Mask位置没有答案； 步骤3） 构建衍生任务 的提示模板将衍生任务转换为了MaskLanguageModel任务中， 使 用步骤2） 构建的标签词作为衍生任务提示的组成部分， 具体如下： 在构建衍生任务提示模 板过程中， 构建自然语言提示模板进行任务形式转换， 提示模板中将涉及到因果关系的表 达； 步骤4） 包括以下3个步骤： 4‑1） 获取文本和提示编码， 将衍生任务和事件因果关系抽取任务的提示拼接到输入文 本后获得语言模型的输入序列， 并通过预训练MaskLanguageModelRoBERTa对整个序列进行 编码， 获取序列中每 个符号的编码向量； 4‑2） 构建门控单元， 利用两个衍生任务中的SEP符号的编码向量作为衍生任务提示的 句向量,结合衍生任务句向量和因果关系抽取提示中的Mask位置的编码向量构建门控单 元， 通过神经网络计算两个0到1之间的实数值作为加权系数对两个衍生任务句向量进行加 权， 并与Mask 位置的编码向量 求和， 得到综合 衍生任务信息的因果关系预测向量； 4‑3） 任务预测， 利用步骤3） 中扩展后的RoBERTaMaskLanguageLayer对提示中Mask位置权　利　要　求　书 1/2 页 2 CN 114492460 B 2的词进行预测， 利用Mask的预测结果作为每个任务的预测结果， 其中因果关系任务提示中 Mask位置上三个插 入标签词的概 率作为因果关系抽取的标签概 率分布。 2.根据权利要求1所述的基于衍生提示学习的事件因果关系抽取方法， 其特征在于， 步 骤4） 构建带有门控单 元的衍生提示因果关系抽取模型中的门控单 元， 具体如下： 门控单元通过设置神经网络计算两个衍生任务提示的语义对事件因果关系预测任务 的重要性， 对衍生任务的语义信息进行加权， 实现将衍生任务语义与事件因果关系 预测任 务的编码进行有机融合的目的， 整个过程利用了两个门控单元， 第一个门控单元计算0到1 中的数值， 并用此数值对两个衍生任务的提示句向量进行加权求和， 实现衍生任务的语义 融合， 第二个门控单元同样计算0到1之间的数值， 对衍生任务融合后的向量与因果关系抽 取中的Mask符号向量进行加权求和， 实现因果关系抽取任务结合 衍生任务语义的目的。 3.根据权利要求2所述的基于衍生提示学习的事件因果关系抽取方法， 其特征在于， 步 骤5） 通过基于教师机制的监 督学习训练 因果关系抽取模型， 具体如下： 将衍生任务和因果关系抽取任务的提示拼接到一起， 构成RoBERTa的输入序列， 利用提 示学习同时执行三个任务的预测， 并且通过mini ‑batch的监督学习的方式训练三个模型， 在训练过程中采用教师机制， 衍生任务中原有的Mask将有15%的几率被标准答案替代， 以加 速因果关系抽取模型的训练速度。 4.根据权利要求3所述的基于衍生提示学习的事件因果关系抽取方法， 其特征在于， 步 骤6） 基于提 示的因果关系抽取， 具体为： 训练得到因果关系抽取模型和两个衍生任务模型后， 执行因果关系抽取的过程将同时 用到所有训练好的模型， 首先按照步骤4 ‑1） 中的方式构建输入序列和进行文本编码， 衍生 任务中将不会采用标准答案替换Mask， 输入序列经过RoBERTa编码后， 使用步骤4 ‑2） 中的门 控单元对因果模型中的Mask编码向量进行调整， 利用调整后的Mask编码向量作为扩展 MaskLanguageLayer的输入， 最终利用步骤4 ‑3） 计算因果标签的概 率。权　利　要　求　书 2/2 页 3 CN 114492460 B 3