(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210364206.7 (22)申请日 2022.04.07 (71)申请人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 丁鼐　马树楷　邹家杰　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06F 40/279(2020.01) G06F 40/216(2020.01) G06F 40/30(2020.01) (54)发明名称 一种基于类脑注意机制优化机器阅读理解 能力的方法 (57)摘要 本发明公开了一种基于类脑注意机制优化 机器阅读理解能力的方法， 该方法通过认知科学 实验采集阅读眼动数据， 以注视时长作为指标， 量化人脑的阅读注意分布； 提取自下而上的文本 特征、 视觉特征和自上而下的问题相关特征， 采 用线性回归 方法拟合人脑阅读注 意分布； 最后通 过最大化模型准确率和最小化注意力模型输出 层单词注意权重与人脑单词注意分布估计值的 交叉熵损失函数， 利用反向传播更新阅读理解模 型参数得到最优模型注意机制。 本发 明既有效提 升了机器阅读理解任务的准确性， 又可以用于解 释模型阅读理解行为， 为机器阅读理解系统进一 步优化提供基础。 权利要求书3页 说明书6页 CN 114861643 A 2022.08.05 CN 114861643 A 1.一种基于类脑 注意机制优化机器阅读理解能力的方法， 其特 征在于， 包括以下步骤： 步骤一： 获取阅读文本与相应的阅读理解问题， 采集人类阅读的眼动数据， 并对眼动数 据进行量 化处理， 得到人类阅读注意分布； 步骤二： 对阅读文本进行特征工程， 选取自上而下的任务相关度与自下而上的统计值 作为特征， 得到用于预测人类注意分布的文本特 征向量； 步骤三： 将语料对应的文本特征向量作为线性回归模型的输入， 语料中文章上的人类 阅读注意分布作为观测值， 对文章单词序列的人类注意分布进行建模； 步骤四： 将预测的人类注意分布作为类脑注意机制， 引入人工神经网络注意力模型， 通 过最小化人脑和模型在文本上的注意分布差异， 以引导模型产生问题相关的类脑注意力分 数计算机制； 步骤五： 将问题与问题所对应的阅读文本输入到训练好的类脑注意机制机器阅读模型 中， 根据输出层计算得到答案 。 2.根据权利要求1中所述的一种基于类脑注意机制优化机器阅读理解能力的方法， 其 特征在于， 所述 步骤一通过以下子步骤来实现： (1.1)根据认知科学实验需求筛选、 改编阅读理解题目， 形成适用于特定实验范式的阅 读理解语料； (1.2)依据 “先阅读问题， 再阅读文章， 最后看问题答题 ”的实验范式， 开展认知科学实 验， 记录被试阅读理解过程中的眼动数据； (1.3)对于每一篇文章， 其所包含的所有单词构成文章单词序列P＝{t1， t2，…， tn}， 其 中n为文章序列长度， t1， t2， ...， tn表示文章P中不同的单词t， 获取所有正确回答其对应问 题的被试 的文章单词序列注视时长， 计算每个单位兴趣区上 的平均注视时间(此处以单词 作为单位兴趣区， 方法具体实施时并不限于单词)， 作为文章单词序列上的人类注意分布 其中 为每个单词t上的权值。 3.根据权利要求1中所述的一种基于类脑注意机制优化机器阅读理解能力的方法， 其 特征在于， 所述 步骤二通过以下子步骤来实现： (2.1)针对文章单词序列进行单词级别特征提取： 选取词性标注、 命名实体识别、 词长 分别作为特 征F1、 特征F2、 特征F3； (2.2)针对文章单词序列进行篇章级别特征提取： 根据语料中文章和问题包含的所有 单词获取语料词汇表， 计算每篇文章中每个单词的词频作为特征F4， 具体计算过程如下公 式， 其中 表示第i篇文章中第j个词的频次， d表示语料库中文章篇数， n为对应文章的单 词数量； (2.3)针对文章序列进行视觉特征提取： 采用自然语言处理工具对文章文本进行分段、 分句和词干提取处理， 获得文章句子 ‑单词序列 其中上标的第一位数 字表示单词对应的文章段落序号， 第二位数字表示单词对应的文章句子序号， p、 s分别为文 章段落和句子数量； 选取单词段落序号、 单词句子序号、 单词序号分别作为特征F5、 特征F6、权　利　要　求　书 1/3 页 2 CN 114861643 A 2特征F7； (2.4)针对问题序列和文章序列提取语义相似度特征： 采用自然语言处理工具， 对文章 文本和问题文本进行词干提取和去停用词处理， 分别获得文章单词序列P＝{t1， t2，…， tn} 和问题单词序列Q＝{q1， q2，…， qm}， 其中m为问题序列长度， q1， q2， ...， qm表示问题文本中不 同的单词q； 选用维度为300的Glov e向量， 对文章单词序列和问题单词序列中的单词进行词 嵌入表示， 将问题序列中的所有向量加权平均， 获得问题序列向量； 利用余弦相似度， 计算 文章单词序列中的各个单词和问题序列向量的相似度， 作为特 征F8； (2.5)针对问题文本提取问题相 关特征： 选取词性标注、 命名实体识别、 问题类型作为 分别作为特 征F9、 特征F10、 特征F11。 4.根据权利要求1中所述的一种基于类脑注意机制优化机器阅读理解能力的方法， 其 特征在于， 所述 步骤三通过以下子步骤来实现： (3.1)采用线性回归模型， 将步骤三提取文章中每个单词的特征值作为输入， 建模阅读 理解过程中人脑注意分布， 获得对应文章中每个单词的人类阅读理解注意力分数预测值 其中， 表示单词ti第k个特征对应的特征值， k为步骤三 中11种不同的文本特征， βk和 b为模型参数， 初始化 为随机值； (3.2)步骤一中得到人类注意分布观测值 作为模型优化目标， 通 过最小化均方误差MSE， 更新模型参数βk和b， 从而得到训练用于预测 人类注意分布的线性 回归模型： 其中， d和n分别为文章篇数和对应文章的单词数量， 和 分别表示第i篇文章第j个 单词的人脑 注意权重的观测值和预测值。 5.根据权利要求1中所述的一种基于类脑注意机制优化机器阅读理解能力的方法， 其 特征在于， 所述 步骤四通过以下子步骤来实现： (4.1)对语料中的文章和问题文本进行预处理， 输入训练好的注意力模型， 通过注意力 层输出,获得模型对于文章单词序列的注意力分布预测值 具体计算公式如下： 其中， 表示文章中每个单词的注意权重预测值， P表示输入文本序 列， W和b是模型参数； (4.2)针对同一组文章 ‑问题数据， 根据步骤四所述方法， 计算每个单词的人类注意分 布权重 通过交叉熵损失函 数 最小化人脑注意分布与注意力模型注意分布 的差值：权　利　要　求　书 2/3 页 3 CN 114861643 A 3