(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210279479.1 (22)申请日 2022.03.21 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 鉴萍　程伟　黄河燕　 (74)专利代理 机构 北京正阳理工知识产权代理 事务所(普通 合伙) 11639 专利代理师 张利萍 (51)Int.Cl. G06F 40/30(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于语义分解的隐式篇章关系分析方 法 (57)摘要 本发明涉及一种基于语义分解的隐式篇章 关系分析方法， 属于自然语言处理应用技术领 域。 本方法通过设计分流的网络结构和完整的流 程， 来分别处理论元中不同的语义信息， 包括利 用语义迁移网络和语义分解网络实现论元语义 的信息分解。 将对隐式篇章关系分析有用的信息 流入任务相关型网络， 对隐式篇章关系分析没有 实际用处的信息流入任务无关型网络。 以此提升 模型对语义信息的筛选和理解的能力， 达到提升 隐式篇章关系分析的技术效果。 本方法能够有效 实现语义的分解、 信息分流， 能够使用户快速、 准 确地获得隐式篇 章关系的分析 结果。 权利要求书2页 说明书4页 附图2页 CN 114707512 A 2022.07.05 CN 114707512 A 1.一种基于语义分解的隐式篇 章关系分析 方法， 其特 征在于， 包括以下步骤： 步骤1： 利用编码器， 对各个样本的两个论元(arg1,arg2)进行语义编码， 获取对应的语 义表示； 其中， 语义表示包括状态向量(Harg1,Harg2)和句子向量(Sarg1,Sarg2)； 其中， Harg1为论元1 中的状态向量， m是论元1的token数量， 表 示arg1中每个token的向量表示， dh为状态向量的空间维度， R表示维度为m*dh的矩阵； Harg2 为论元2中的状态向量， n是论元2的token数 量， 表示arg2中每个token的向量表示； Sarg1为论元1的句子向量， Sarg2为论元2的句子向 量； 步骤2： 借助交互注意力机制进行语义交互操作， 计算出两个论元中的各个token的权 重分布(Att1,Att2)， Att1表示论元1的权重分布， Att2表示论元2的权重分布， 进而计算得到 每个论元的最终加权表示(S ′arg1,S′arg2)， S′arg1表示论元1的加权， S ′arg2表示论元2的加权； 步骤3： 将论元语义分解为对隐式篇章关系分析任务有用的任务相关语义和对该任务 没有价值的任务无关语义； 包括以下步骤： 步骤3.1： 利用语义迁移网络， 对每个论元的最终加权表示(S ′arg1,S′arg2)进行语义迁 移， 获取相对易于分解的高阶语义表示(Qarg1,Qarg2)； 首先， 将各个论元的最终加权表示(S ′arg1， S′arg2)做维度对半压缩， 得到空间向量 (Parg1,Parg2)； 然后， 将其还原至原有维度， 得到高阶语 义表示(Qarg1,Qarg2)； 其中， Parg1表示论 元1的空间向量， Parg2表示论元2的空间向量； Qarg1表示论元1的高阶语义， Qarg2表示论元2的 高阶语义； 步骤3.2： 使用语义分解网络， 对各论元的高阶语义表示(Qarg1,Qarg2)进行语义分解； 每 个论元都会得到两个不同语义表述， 并构成两组语义对； 其中， 论元1高阶语义分解得到 论元2的高阶语义分解得到 并构成两组语义对； 步骤4： 将两个论元分解出的不同语义分别组成语义对， 分别送入任务相关型网络和任 务无关型网络； 通过数据构建和模型训练， 使论元语义模型能够有效进 行语义分解， 让模型 关注到对 任务更有价 值的语义信息； 其中， 双网络分类器包括任务相关型网络和任务无关型网络； 训练双网络分类器时， 除 利用存在篇章关联的论元对作为正样本之外， 还要构建没有篇章关联的论元对作为负样本 进行训练； 训练时， 使用交叉熵损失函数作为目标函数， 并更新 论元语义模型中的参数； 步骤5： 使用论元语义模型对隐式篇 章关系进行分析。 2.如权利要求1所述的一种基于语义分解的隐式篇章关系分析方法， 其特征在于， 步骤 2包括以下步骤： 步骤2.1： 将论元2的句子向量Sarg2和论元1的状态向量Harg1进行点乘， 通过softmax计算 得到论元1的权 重分布Att1； 步骤2.2： 将论元1的句子向量Sarg1和论元2的状态向量Harg2进行点乘， 通过softmax计算 得到论元2的权 重分布Att2； 步骤2.3： 对两个论元的权重分布(Att1,Att2)和状态向量(Harg1,Harg2)进行加权求和， 计权　利　要　求　书 1/2 页 2 CN 114707512 A 2算得到最终的加权表示(S ′arg1,S′arg2)。 3.如权利要求1所述的一种基于语义分解的隐式篇章关系分析方法， 其特征在于， 步骤 3.2中， 采用以下 方法构成语义对： 首先， 利用映射矩阵M对(Qa r g 1,Qa r g 2)做空间映射， 得到任务相关语义对 其中， x表示任务相关， 表示arg1的任务相关表示， 表示 arg2的任务相关表示； 然后， 根据任务相关语义， 计算得出任务无关语义对 即 其中， y表示任务无关， 表示arg1的任务无关语 义， 表示arg2的任务无关语义。 4.如权利要求1所述的一种基于语义分解的隐式篇章关系分析方法， 其特征在于， 步骤 4中， 构建双网络分类器， 将两个论元语义分解结果中的任务相关语义对 进 行拼接后， 输入至任务相关型网络， 判断两个论元的隐式篇章关系； 同时， 将两个论元语义 分解结果中的任 务无关语义对 进行拼接， 输入任 务无关型网络， 判断两个论 元是否构成篇 章关联。 5.如权利要求1所述的一种基于语义分解的隐式篇章关系分析方法， 其特征在于， 步骤 5中， 当双网络分类器训练结束后， 将待识别的论元对输入到双网络分类器中， 得到输出结 果， 包括任务相关型网络的输出结果和任务无关型网络的结果； 最后， 将任务相关型网络的 结果， 记为本次篇 章关系的识别结果。权　利　要　求　书 2/2 页 3 CN 114707512 A 3