(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221041610 3.0 (22)申请日 2022.04.20 (71)申请人 迈容智能科技 （上海） 有限公司 地址 200433 上海市杨 浦区邯郸路10号8号 楼309室 (72)发明人 吴昆　丁国栋　 (74)专利代理 机构 上海诺衣知识产权代理事务 所(普通合伙) 31298 专利代理师 刘艳芝 (51)Int.Cl. G06F 16/31(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06F 17/16(2006.01) (54)发明名称 基于多层 级注意力机制的模 型、 事件论元抽 取方法及系统 (57)摘要 本发明公开了一种基于多层级注意力机制 的模型、 事件论元抽取方法及系统， 首先， 预处理 包含事件类型以及描述该事件的输入文本， 使用 预训练语言模 型对数据集中的文本进行编码， 得 到模型的初始文本表征； 其次， 将事件类型输入 多层级注意力机制的模型， 获取事件类型 ‑论元 角色层级注意力特征和论元角色 ‑论元角色层级 注意力特征； 然后， 将文本表征输入双仿射层， 与 事件类型 ‑论元角色层级注意力特征和论元角 色‑论元角色层级注意力特征进行融合， 获取最 终的融合分类特征； 最后， 将融合分类特征作为 最终分类层的输入， 采用0/1标注格式对每个角 色类型的事件论元的首尾索引进行预测， 迭代训 练， 获取最优模型。 有效提升了从文档中抽取事 件论元的效果。 权利要求书2页 说明书7页 附图2页 CN 114880427 A 2022.08.09 CN 114880427 A 1.一种多层级注意力机制的模型构建方法， 其特征在于： 首先， 构建事件类型 ‑论元角 色层级关系、 论元角色 ‑论元角色层 级关系， 并且分别使用二 维矩阵进 行表示； 然后， 将预先 获得的文本表征和事件类型 ‑事件论元层级关系矩阵输入事件类型 ‑事件论元注意力模块， 计算事件类型 ‑论元角色层级注意力特征； 将预先获得的文本表征和事件论元 ‑事件论元层 级关系矩阵输入事件论元 ‑事件论元注意力模块， 计算论元角色 ‑论元角色层级注意力特 征； 最后， 将事件类型 ‑论元角色层级注意力特征和论元角色 ‑论元角色层级注意力特征作 为该模型的输出。 2.根据权利要求1所述的多层级注意力 机制的模型构建方法， 其特征在于： 计算事件类 型‑论元角色层级注意力特 征的具体过程如下： 依据官方事件模板， 分析事件类型与论元角色之间的所属关系并且使用二维矩阵表 示， 事件模板在定义事件时给出了特定类型事件包含的论元， 以事件类型作为横坐标， 论元 角色作为纵坐标构建二维关系矩阵， 若某一事件包含某一论元， 则在二维矩阵中将其值置 为1， 否则置为0 。 3.根据权利要求1所述的多层级注意力 机制的模型构建方法， 其特征在于： 计算论元角 色‑论元角色层级注意力特 征的具体过程如下： 分析论元角色彼此之间的依赖关系并且使用二维矩阵表示， 将论元角色包含的值属性 抽象成上层概念， 表达论元角色某一 维度的属性， 以论元角色类型作为横坐标， 上层概念类 型作为纵坐标构建二维关系矩阵， 若某一论元拥有某一属 性， 则在二维矩阵中将其值置为 1， 否则置为0 。 4.根据权利要求1所述的多层级注意力 机制的模型构建方法， 其特征在于： 所述文本表 征通过应用预训练语言模型对原 始数据集中的文本进行编码获取。 5.一种基于多层级注意力机制的事 件论元抽取 方法， 其特 征在于： 包括如下步骤： 步骤1、 预处理包含事件类型以及描述该事件的输入文本， 使用预训练语言模型对数据 集中的文本进行编码， 得到模型的初始文本表征； 步骤2、 将步骤1中的事件类型输入权利要求1至4中任一项所述多层级注意力机制的模 型， 获取事 件类型‑论元角色层级注意力特 征和论元角色 ‑论元角色层级注意力特 征； 步骤3、 将步骤1中得到的文本表征输入双仿射层， 与事件类型 ‑论元角色层级注意力特 征和论元角色 ‑论元角色层级注意力特 征进行融合， 获取最终的融合分类特 征； 步骤4、 将融合分类特征作为最终分类层的输入， 采用0/1标注格式对每个角色类型的 事件论元的首尾索引进行 预测， 迭代训练， 获取最优 模型。 6.根据权利要求5所述的基于多层级注意力 机制的事件论元抽取方法， 其特征在于： 所 述步骤1的具体过程如下： 划分训练集和测试集， 将文档中的长文档分隔为固定长度为200个字的句子集合， 其中 一个句子对应数据集中的一条样本， 使用预训练语言模型BERT进 行词嵌入表 示得到初始文 本表征h。 7.根据权利要求6所述的基于多层级注意力 机制的事件论元抽取方法， 其特征在于： 对 于每个样本使用其已知事件类型e所得 的事件类型 ‑论元角色层级注意力特征二维关系矩 阵中进行查找， 得到该事件类型与论元角色的关联向量， 之后在随机初始化的事件类型 ‑论 元角色参 数矩阵中查表得到该事件 类型对应于论元角色的语义特征euc， 假设该事件可能包权　利　要　求　书 1/2 页 2 CN 114880427 A 2含k个论元， 将步骤1所得文本表征与euc融合并使用softmax函数计算得到事件类型面向论 元角色的注意力分数se； 对于每个样本使用论元角色 ‑论元角色层级注意力特征的二维矩阵在随机初始化的论 元角色‑论元角色参 数矩阵中查表得到所有论 元之间关联信息的语义特征ruc； 将步骤1所得 文本表征与ruc融合并使用softmax函数计算论元角色 间基于上层概念的注 意力分数sr以及 样本的论元 ‑论元层级特 征er； 将er与步骤1所得文本表征h进行拼接， 对文本中的每一个token计算一个提供论元角色 之间注意力分数的概率矩阵 并且针对每一个候选论元使用max函数筛选出与其相关性 最大的另一 论元， 得到用于最终分类的论元 ‑论元特征矩阵hr。 8.根据权利要求5所述的基于多层级注意力 机制的事件论元抽取方法， 其特征在于： 所 述步骤3的具体过程如下： 将步骤1得到的文本表征嵌入输入双仿射层， 使用前馈神经网络将其映射到对于每一 论元角色计算概率的向量p， 并且与多层级注意力机制模型的事件类型 ‑事件论元层 级注意 力特征以及事 件论元‑事件论元层级注意力特 征进行融合， 得到最终的融合分类特 征。 9.根据权利要求5所述的基于多层级注意力 机制的事件论元抽取方法， 其特征在于： 所 述步骤4的具体过程如下： 多层级注意机制融合特征表示作为最终分类层的输入， 将步骤3所得向量p使用多个二 分类器进 行分类， 采用0/1标注格式对每个角色类型的事件论元的首尾索引进 行预测， 迭代 训练得到最优 模型。 10.基于多层级注意力机制的事件论元抽取系统， 其特征在于： 包括预训练语言模型、 跨度提取模块、 多层级注意力机制模型、 特 征融合模块、 论元提取模块； 其中， 预训练语言模型， 用于接收外部输入包含事件类型以及描述该事件的一段文本进行预 训练， 获取事 件文本表征； 跨度提取模块， 用于对接收的文本表征进行处 理， 获取初始分类特 征； 多层级注意力机制模型， 用于 接收事件类型， 并获取两个层级特 征； 特征融合模块， 用于将两个层级特征和初始分类特征进行融合， 获取最终的融合分类 特征； 论元提取模块， 用于将融合分类特征进行二分类得到论元实体首尾位置， 并提取事件 论元参数。权　利　要　求　书 2/2 页 3 CN 114880427 A 3