(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210217689.8 (22)申请日 2022.03.08 (65)同一申请的已公布的文献号 申请公布号 CN 114328883 A (43)申请公布日 2022.04.12 (73)专利权人 恒生电子股份有限公司 地址 310053 浙江省杭州市滨江区江南大 道3588号恒生大厦1 1楼 (72)发明人 娄东方　王炯亮　林金曙　陈春旭　 张少杰　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张文娥 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 40/126(2020.01)G06F 40/30(2020.01) G06N 20/00(2019.01) (56)对比文件 CN 110222152 A,2019.09.10 CN 110096699 A,2019.08.0 6 CN 111782961 A,2020.10.16 CN 112001166 A,2020.1 1.27 CN 111291188 A,2020.0 6.16 US 2021149994 A1,2021.0 5.20 CN 111858879 A,2020.10.3 0 Kiet Van Nguyen， 等.Enhanci ng Lexical- Based Ap proach With External Kn owledge for Vietnamese Multiple- Choice Machine Reading Comprehensi on. 《IEEE Access》 .2020, 第8卷 包玥， 等.抽取式机 器阅读理解研究综述. 《计算机 工程与应用》 .2021,第57 卷(第12期), 审查员 凡保磊 (54)发明名称 一种机器阅读理解的数据处理方法、 装置、 设备及介质 (57)摘要 本申请提供一种机器阅读理解的数据处理 方法、 装置、 设备及介质， 涉及自然语言 处理技术 领域。 该方法包括： 将与样本问题对应的样本上 下文进行切分， 得到样本句子集合， 该样本句子 集合中包括多个样本句子； 将样 本问题与 样本句 子集合中的各样本句子组合， 得到训练样本的特 征； 根据样本问题对应的样本上下文中的样本答 案集合， 构建训练样本的标签； 将训练样本的特 征和标签输入初始机器阅读理解模 型中， 训练得 到目标机器阅读理解模型。 应用本申请实施例， 可以提高训练得到的目标机器阅读理解模型的 精确度。 权利要求书4页 说明书21页 附图5页 CN 114328883 B 2022.06.28 CN 114328883 B 1.一种机器阅读理解的数据处 理方法， 其特 征在于， 所述方法包括： 将与样本问题对应的样本上下文进行切分， 得到样本句子集合， 所述样本句子集合中 包括多个样本句子； 将所述样本问题添加到所述样本句子集合中， 得到训练样本的特征， 所述特征中的第 一个句子为所述样本问题， 所述特征中除所述第一个句子之外的其他句子为所述样本句子 集合中的样本句子； 根据所述样本问题对应的所述样本上下文中的样本答案集合， 构建所述训练样本的标 签， 所述样本答案集合包括： 无样本答案或至少一个样本答案， 包括至少一个样本答案的样 本答案集 合对应的标签包括： 样本答案起始位置、 样本答案终止位置以及样本答案内容； 将所述训练样本的特征和标签输入初始机器阅读理解模型中， 训练得到目标机器阅读 理解模型。 2.根据权利要求1所述的方法， 其特征在于， 所述将与样本问题对应的样本上下文进行 切分， 得到样本句子集 合， 包括： 对所述样本上下文中的目标结尾符号进行识别， 得到所述目标结尾符号在所述样本上 下文的位置信息； 根据所述目标结尾符号在所述样本上下文的位置信 息对所述样本上下文进行切分， 得 到初始样本句子集 合， 所述初始样本句子集 合中包括多个初始样本句子； 根据所述初始机器阅读理解模型对应的设置参数对所述初始样本句子集合中的初始 样本句子进 行处理， 得到样 本句子集合， 所述设置参数包括样本句子的 限定长度和/或样本 句子的限定数量。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述训练样本的特征和标签输入初 始机器阅读理解模型中， 训练得到目标机器阅读理解模型， 包括： 将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层， 由所述 编码层对所述训练样本的特征和标签进行编码后， 得到训练样本 向量， 所述训练样本 向量 包括特征向量、 标签向量； 基于所述训练样本向量、 答案起始位置损失值、 答案终止位置损失值、 有无答案损失值 对所述初始机器阅读理解模型进行训练， 得到所述目标机器阅读理解模型。 4.根据权利要求3所述的方法， 其特征在于， 所述编码层包括句子编码器、 上下文编码 器， 所述句子编码器与所述上 下文编码器连接； 所述将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层， 由 所述编码层对所述训练样本的特 征和标签进行编码后， 得到训练样本向量， 包括： 将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的所述句子编码 器， 由所述句 子编码层编码后得到句 子向量集合， 所述句 子向量集合由样本 问题向量以及 多个样本句子向量组成； 将所述句子向量集合输入至所述上下文编码器， 由所述上下文编码器交互编码后得到 句子语义向量集合， 所述句 子语义向量集合中包括： 所述样本 问题对应的样本 问题语义向 量以及各样本句子向量对应的样本句子语义向量， 各样本句子语义向量组成目标上下文向 量； 根据所述句子语义向量 集合， 更新所述句子向量 集合。权　利　要　求　书 1/4 页 2 CN 114328883 B 25.根据权利要求4所述的方法， 其特征在于， 所述基于所述训练样本向量、 答案起始位 置损失值、 答案终止位置损失值、 有 无答案损失值对初始机器阅读理解模型进 行训练之前， 所述方法还 包括： 将所述目标上下文向量依次输入至所述初始机器阅读理解模型中的初始第一全连接 层以及初始第一激活层， 得到有答案概 率； 获取有无答案标识， 所述有无答案标识为有答案标识或无答案标识； 根据有无答案损失函数确定所述有无答案损失值， 所述有无答案损失函数中至少包 括： 有答案概 率和有无答案标识。 6.根据权利要求4所述的方法， 其特征在于， 所述基于所述训练样本向量、 答案起始位 置损失值、 答案终止位置损失值、 有 无答案损失值对初始机器阅读理解模型进 行训练之前， 所述方法还 包括： 将所述目标上下文向量输入至所述初始机器阅读理解模型中的初始第 二全连接层， 得 到所述目标 上下文向量中各位置对应的分数； 基于预设掩盖策略， 将所述目标上下文向量中各位置对应的分数输入至所述初始第 二 全连接层后的初始第二激活层， 得到各样本答案分别对应的起始位置概率向量， 所述起始 位置概率向量包括目标上下文向量中各位置对应的起始 位置概率， 所述预设掩盖策略用于 指示在计算所述目标上下文向量中各样本答案起始 位置对应的起始 位置概率时， 需要将各 样本答案自身之外的其它样本答案起始位置进行掩盖； 基于将各样本答案自身之外的其它样本答案起始位置进行掩盖策略， 得到各样本答案 分别对应的掩盖起始位置向量； 根据答案起始位置损 失函数确定所述答案起始位置损 失值， 其中， 所述答案起始位置 损失函数中至少包括如下参数： 各样本答案分别对应的起始 位置概率向量和各样本答案分 别对应的掩盖起始位置向量。 7.根据权利要求4所述的方法， 其特征在于， 所述基于所述训练样本向量、 答案起始位 置损失值、 答案终止位置损失值、 有 无答案损失值对初始机器阅读理解模型进 行训练之前， 所述方法还 包括： 分别将各样本答案对应的起始位置的位置向量与 所述目标上下文向量进行拼接， 得到 各样本答案对应的第一 拼接向量； 分别将各样本答案对应的第一拼接向量依次输入至所述初始机器阅读理解模型中的 初始第三全连接层以及初始第三激活层， 得到各样本答案分别对应的终止位置概率向量， 所述终止位置概 率向量包括目标 上下文向量中各位置对应的终止位置概 率； 根据答案终止位置损 失函数确定所述答案终止位置损 失值， 其中， 所述答案终止位置 损失函数中至少包括如下参数： 各样本答案分别对应的终止位置概率向量和所述标签向量 中的终止位置向量。 8.根据权利要求1 ‑7任一项所述的方法， 其特 征在于， 所述方法还 包括： 将与目标问题对应的待处理上下文进行切分， 得到句子集合， 所述句子集合中包括多 个句子； 将所述目标问题以及所述句子集合中的各句子组合后得到的输入数据输入所述目标 机器阅读理解模型， 由所述目标机器阅读理解模型确定所述待处理上下文中是否存在所述权　利　要　求　书 2/4 页 3 CN 114328883 B 3