(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210487017.9 (22)申请日 2022.05.06 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 蔡飞 宋城宇 冷静宜 刘登峰  王思远 张鑫 陈洪辉 张维明  (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/205(2020.01) G06F 40/30(2020.01) (54)发明名称 事件类型分析方法及相关 设备 (57)摘要 本申请提供一种事件类型分析方法及相关 设备。 所述方法包括: 获取包括有父标签的父训 练集和包括有子标签的第一子训练集; 将父训练 集中的第一输入 元组转化为第一提示格式; 基于 第一提示格式对 预训练语言模型进行调整, 得到 第一语言模 型; 将父标签加入第一子训练集的对 应的第二输入元组中, 得到第二子训练集; 将第 二子训练集中的第二输入元组转化为第二提示 格式; 基于第二提示格式对所述第一语 言模型进 行调整, 得到第二语言模型; 利用第二语言模型 分析待检测文本对应的事件类型。 本申请实施例 通过引入父子标签以及费雪信息的概念, 在训练 模型时提供了额外的监督信号, 以及能够有效识 别信息量最大的示范例子用于训练, 最终实现了 对事件类型的分析。 权利要求书2页 说明书10页 附图2页 CN 114881141 A 2022.08.09 CN 114881141 A 1.一种事 件类型分析 方法, 其特 征在于, 包括: 获取包括有父 标签的父训练集和包括有子标签的第一子训练集; 将所述父训练集中的第一输入元组转 化为第一提示格式; 基于所述第一 提示格式对预训练语言模型进行调整, 得到第一语言模型; 将所述父 标签加入所述第一子训练集的对应的第二输入元组中, 得到第二子训练集; 将所述第二子训练集中的第二输入元组转 化为第二提示格式; 基于所述第二 提示格式对所述第一语言模型进行调整, 得到第二语言模型; 利用所述第二语言模型分析待检测文本对应的事 件类型。 2.根据权利要求1所述的方法, 其特征在于, 所述将所述父训练集中的第 一输入元组转 化为第一提示格式, 包括: 利用平均向量表示法将所述第一输入元组的标签转 化为标签向量; 利用重建模板将所述第一输入元组重建为句子提 示格式; 所述标签向量和所述句子提 示格式组成所述第一 提示格式。 3.根据权利要求2所述的方法, 其特 征在于, 还 包括通过以下 方法得到所述重建模板: 对于所述训练集中的每个输入元组, 将所述每个输入元组中的三个元素进行排列组 合, 得到输入元组元 素的排列组合; 在所述排列组合中分别填入掩码, 并输入至文本到文本转换器中, 利用束搜索方法确 定所述重建模板 。 4.根据权利要求3所述的方法, 其特征在于, 所述在所述排列组合中分别填入掩码, 输 入至文本 到文本转换器中, 利用束搜索方法确定所述重建模板, 包括: 在所述排列组合中分别填入 掩码, 得到掩码后排列组合; 将所述掩码后排列组合输入至所述文本到文本转换器中, 利用所述文本到文本转换器 使用自然语言填补所述掩码; 利用束搜索对填补掩码后的排列组合进行解码得到候选模板集, 根据填补所述掩码后 得到的结果, 得到所述重建模板 。 5.根据权利要求2所述的方法, 其特征在于, 所述基于所述第 一提示格式对预训练语言 模型进行调整, 得到第一语言模型, 包括: 计算所述第一输入元组的句子与所述父训练集中的第三输入元组的句子的相似度; 将前50%所述相似度对应的第三输入元组作为所述第一输入元组的第一支持集; 将所述第一支持集中的第三输入元组转 化为第三提示格式; 将所述第一 提示格式与所述第三 提示格式进行拼接, 得到上 下文; 将所述上 下文输入所述预训练语言模型中, 得到第一训练标签; 利用所述第一训练标签和所述第一输入元组的标签, 计算得到费雪信息; 将所述费雪信息最大值对应的所述第三输入元组作为支持例子; 利用所述支持例子对所述预训练语言模型进行调整, 得到第一语言模型。 6.根据权利要求5所述的方法, 其特征在于, 所述利用所述第 一训练标签和所述第 一输 入元组的标签, 计算得到第一费雪信息, 包括: 利用所述第一训练标签和所述第一输入元组的标签, 计算得到标签损失; 利用所述标签损失 获取所述预训练语言模型的参数梯度;权 利 要 求 书 1/2 页 2 CN 114881141 A 2根据所述 参数梯度计算得到所述费雪信息 。 7.根据权利要求5所述的方法, 其特征在于, 所述利用所述支持例子对所述预训练语言 模型进行调整, 得到第一语言模型, 包括: 将所述支持例子与 所述句子提示格式拼接后输入所述预训练语言模型中, 得到第 二训 练标签; 利用所述第二训练标签和所述第一输入元组的标签, 计算训练损失; 利用所述训练损失对所述预训练语言模型进行调整, 得到第一语言模型。 8.一种事 件检测装置, 其特 征在于, 包括: 获取模块, 被 配置为获取包括有父 标签的父训练集和包括有子标签的第一子训练集; 转化模块, 被 配置为将所述父训练集中的第一输入元组转 化为第一提示格式; 调整模块, 被配置为基于所述第一提示格式对预训练语言模型进行调整, 得到第一语 言模型; 数据处理模块, 被配置为将所述父标签加入所述第 一子训练集的对应的第 二输入元组 中, 得到第二子训练集; 转化模块, 被 配置为将所述第二子训练集中的第二输入元组转 化为第二提示格式; 调整模块, 被配置为基于所述第二提示格式对所述第一语言模型进行调整, 得到第二 语言模型; 预测模块, 被 配置为利用所述第二语言模型分析待检测文本对应的事 件类型。 9.一种电子设备, 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序, 其特征在于, 所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方 法。 10.一种非暂态计算机可读存储介质, 所述非暂态计算机可读存储介质存储计算机指 令, 其特征在于, 所述计算机指令用于使计算机执 行权利要求1至7任一所述方法。权 利 要 求 书 2/2 页 3 CN 114881141 A 3

.PDF文档 专利 事件类型分析方法及相关设备

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 事件类型分析方法及相关设备 第 1 页 专利 事件类型分析方法及相关设备 第 2 页 专利 事件类型分析方法及相关设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 17:47:58上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。