(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210407939.4 (22)申请日 2022.04.19 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 廖劲智　唐九阳　赵翔　陈子阳　 谭真　黄宏斌　吴继冰　 (74)专利代理 机构 长沙大珂知识产权代理事务 所(普通合伙) 4323 6 专利代理师 伍志祥 (51)Int.Cl. G06F 40/126(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01) (54)发明名称 基于重组对抗的统一机 器阅读理解方法 (57)摘要 本发明属于自然语 言处理领域， 公开了基于 重组对抗的统一机器阅读理解方法， 获取类型多 样化、 候选项数目不特定的问题； 重组问题和候 选项形成组合候选项， 并依据参考文本对新候选 项进行成立与否的判断， 将实际阅读理解场景中 的判断题、 选择题以及匹配题统一转化成单选判 定问题； 对重组获得的组合候选项与参考文本的 共同编码， 获得与参考文本及其他重组候选项交 互后的重组候选项向量表示； 在重组候选项向量 表示中融入与其相关的参考文本信息； 将每一个 候选项向量视为一个单独的样 本， 对其成立与否 进行概率判定， 输出结果。 本发明将多选问题转 化为逐个候选项的正误判断； 融合层和对抗学习 两个机制提高对不同候选项的区分能力。 权利要求书3页 说明书15页 附图1页 CN 114912419 A 2022.08.16 CN 114912419 A 1.基于重组对抗的统一机器阅读理解方法， 其特 征在于， 包括以下步骤： 获取类型多样化、 候选项数目不特定的问题； 重组问题和候选项形成组合候选项， 并依据参考文本对新候选项进行成立与否的判 断， 将实际阅读理解场景中的判断题、 选择题以及匹配题统一 转化成单选判定问题； 对重组获得的组合候选项与参考文本的共同编码， 获得与参考文本及其他重组候选项 交互后的重组候选项向量表示； 在所述重组候选项向量表示中融入与其相关的参考文本信 息， 以丰富所述重组候选项 向量表示中蕴含的信息； 将每一个候选项向量视为 一个单独的样本， 对其成立与否进行概 率判定， 输出 结果。 2.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法， 其特征在于， 所述将 实际阅读理解场景中的判断题、 选择题以及匹配题统一 转化成单选判定问题包括： 将候选项拆分， 逐个与问题进行组合， 形成设问句； 组合参考文本与新产生的候选项， 从而将不同类型的问题转化成在参考文本的支撑 下， 对每个新的候选项预测其成立 概率的判断题。 3.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法， 其特征在于， 所述判 断题的数 学形式为： ＜P,Q,A＞三元组， 其中P表示参考文本， 形式上是句子、 段落或整篇文章； Q表示自然语言形式的问题， A＝ {a1,a2,...,an}表示与特定问题对应的候选项集合， n表示候选项的数量， 当中有且只有一 个正确答案 。 4.根据权利要求3所述的基于重组对抗的统一机器阅读理解方法， 其特征在于， 对于任 一输入问题， 将候选项拆分串联至问题后， 组成与 原候选项数量相同的新候选项， 具体表 示 为： C＝{c1， c2， ...， cn}＝{Q+a1， Q+a2， ...， Q+an} 其中， C表示重组后的候选项集 合； 将参考文本P作为背景知识与候选项结合以供机器判断候选项中的事实陈述是否成 立， 具体组合形式如下： P,c1,c2,...,cn 上式将所有候选项串联， 考虑参考文本P中包含的信息， 同时关注其他候选项中的关键 信息， 以发现不同候选项之间的关联关系。 5.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法， 其特征在于， 所述对 重组获得的组合 候选项与参 考文本的共同编码， 包括： 采用预训练语言模型RoBERTa作为分词器进行文本的分词和词表映射， 得到文本与候 选项的编码， 具体输入形式如下： [CLS]P[SEP]c1[SEP]c2[SEP]...[SEP]cn[SEP] 其中， [CLS]表示RoBERTa中标记输入文本起始位置的特殊字符， [SEP]表示RoBERTa中 不同文本之间的间隔字符， n 为文本的数量； 获得参考文本和候选项的词向量表示： E＝(e1,e2,...,em)∈Rm×d 其中， E表示输入文本序列的词向量编码， em表示序列中第m个字符的词向量， R表示实数权　利　要　求　书 1/3 页 2 CN 114912419 A 2空间， m表示文本 长度， d表示维度大小。 6.根据权利要求5所述的基于重组对抗的统一机器阅读理解方法， 其特征在于， 对于文 本和候选项串联后长度超过512的数据， 采用Longformer的滑窗机制、 扩大的滑窗机制、 融 合全局信息的滑窗机制拓展输入上限到4096； 或使用Bi gBird的随机注意力、 窗口注意力以及全局注意力方法， 将BERT中的复杂度降 至线性， 进 而拓展输入上限到4096 。 7.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法， 其特征在于， 所述在 所述重组候选项向量表示中 融入与其相关的参 考文本信息， 包括： 设计文本与候选项之间的注意力机制： s＝softmax(a) 其中， tanh表示非线性激活函数以实现非线性映射， Wpc表示可学习的权重矩阵， Ep为参 考文本向量表示， 为候选项向量表示， bpc表示偏置项， j为候选项的编号， softmax实现矩 阵内数值在[0,1]上归一 化， 最终获得候选项cj关于参考文本的注意力向量表示 采用mean_po oling获取每 个候选项的平均向量表示， 即： 其中， |·|表示特定对象的数量， su m表示线性加和， 候选项平均向量表示Cj∈Rd将被用 于信息融合以及最终的概 率预测； 在获得注意力向量表示之后， 使用高速路网络 机制实现信息的融合， 具体如下： 其中， Wr和Wg表示可学习的权重矩阵， [； ]表示串联输入的向量， 表示两个矩阵对应位 置元素相乘， relu表示非线性激 活函数， Oj表示输入向量与中间向量 的线性插值， G表示 门控阈值以控制调整 线性插值中各部分所占比重， 是参考文本的平均向量表示； 通过线性 拼接得到经 过融合层之后获得的候选项最终表示Mj∈R2d： 8.根据权利要求1所述的基于重组对抗的统一机器阅读理解方法， 其特征在于， 所述将 每一个候选项向量视为 一个单独的样本， 对其成立与否进行概 率判定包括： 通过一个二分类 器对候选项向量进行[0,1]之间的概 率预测： P＝sigmo id(fp(M))权　利　要　求　书 2/3 页 3 CN 114912419 A 3