(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210222404.X (22)申请日 2022.03.07 (71)申请人 桂林旅游学院 地址 541006 广西壮 族自治区桂林市雁山 区雁山镇良丰路26号 (72)发明人 陈意山　吴晗　罗建华　 (74)专利代理 机构 南宁东智知识产权代理事务 所(特殊普通 合伙) 45117 专利代理师 裴康明 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/216(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于BERT神经网络和多任务学习的主 观题自动评阅方法 (57)摘要 本发明公开了一种基于BERT神经网络和多 任务学习的主观题自动评阅方法， 涉及人工智能 与智慧教育的交叉领域。 首先， 使用经过大规模 语料预训练的BERT神经网络进行编码， 有效解决 主观题自动评阅任务中语料过小的问题， 并联合 训练一个具有学生答案代词消代与主观题自动 评阅的多任务神经网络模型。 其次， 使用所训练 的多任务神经网络模型， 从题干中提取代词成分 来替换学生答案中的代词， 确保学生答案语义的 完整性。 然后， 将消代后的学生答案与标准答案 形成句子对， 送入BERT神经网络进行分类， 得到 学生答案的评分等级。 通过消除学生答案中的代 词， 以更有效的方法解决主观 题自动评阅问题。 权利要求书4页 说明书10页 附图1页 CN 114579706 A 2022.06.03 CN 114579706 A 1.一种基于BERT神经网络和多任务学习的主观题自动评阅方法， 包含学生答案消代和 主观题自动评阅两种任务的学习， 其特 征在于包括以下步骤： S1.以题干作 为知识源， 使用共享的BERT神经网络和多头注意力进行编码， 对学生答案 的代词进行消代； S2.将标准答案和消代后的学生答案形成的句对， 作为自动评阅学习任务的输入序列， 使用共享的BERT神经网络进行编码和分类， 得到学生 答案的评分等级； S3.通过联合计算步骤S1和步骤S2的损失函数， 联合训练一个具有学生答案代词消代 与主观题自动评阅的多任务神经网络模型； S4.使用步骤S3训练成型的多任务神经网络模型， 对 任意的学生 答案进行消代与评阅； 所述共享的BERT神经网络是指步骤S1和步骤S2中共享 参数的BERT神经网络； 所述BERT神经网络是指Google  AI Language提出的Bidirectional  Encoder   Representati ons from Transformers(BERT)语言模型。 2.根据权利要求1所述的一种基于BERT神经网络和多任务学习的主观题自动评阅方 法， 其特征在于： 所述步骤S1具体包括： S1.1以由等待消代的代词p、 包含代词的学生答案S＝{s1,s2,…,sm1}与BERT编码符号所 组成的句对1序列SP1作为代词语义提取的输入序列， 将题干T＝{t1,t2,…,tn1}与BERT编码 符号所组成的题干序列ST作为题干语义 生成的输入序列， 如下 所示： SP1＝{[CLS],s1,s2,…,sm1,[SEP],p,[ SEP]}        (1) ST＝{[CLS],t1,t2,…,tn1,[SEP]}                 (2) 其中， [CLS]是BERT分类符的编码， [SEP]是BERT结束符的编码， p∈S是学生答案S中等 待消代的代词， n1是题干T的长度， m1是 学生答案S的长度； S1.2将题干序列ST和句对1序列SP1分别送入共享的BERT神经网络进行编码， 得到题干 语义表示CST、 句对1语义表示CSP1和代词语义向量vp， 计算过程如下 所示： 其中， BERT( ·)表示共享的BERT神经网络,hcls、 hsep分别是编码[CLS]和[SEP]在BERT   中对应的隐藏状态, 分别是题干序列ST和学生答案S中的词在BERT中对应的隐藏状 态， hp是代词p在BERT中对应的隐藏状态， d是共享的BERT神经网络的隐藏单元数， k1是题干 序列ST的长度且有k1＝ n1+2， k2是句对1序列S P1的长度且有k2＝m1+4； S1.3将代词语义向量vp连接到题干语义表示CST中的每一个隐藏状态， 然后通过线性变 换和多头注意力得到题干语义融合表示 计算过程如下 所示： 权　利　要　求　书 1/4 页 2 CN 114579706 A 2其中， FTP是连接代词语义向量 后的题干语义连接表示， fi是FTP中的第i个元素， 是 CST中的第i个元素， 符号 “；”表示连接运算， 是一个权重矩阵， 是一个偏 置向量； 是将FT P线性变换后的题干语义浓缩表示； 表示输入 的多头注意力M HA(Q,K,V)； S1.4使用题干语义融合表示 进行代词成分位置抽取， 得到代词成分在 中的开始位 置us和结束位置ue， 进而使用题干序列ST得到代词成分E， 计算过程如下 所示： 首先， 计算 中所有隐藏状态的开始位置和结束位置的概 率： 其中， 为用于计算开始位置概率 的权重向量， 为用于计算结束位置 概率的权重向量， b1、 为两个偏置参数， 为 中所有隐藏状态的开始位置的概率 向量， 为 中所有隐藏状态的结束位置的概率向量， softmax( ·)为用于计算概率的归一 化函数； 其次， 计算代词成分在 中的开始位置us和结束位置ue： 其中， 函数 表示 中第i个元素， 函数 表示 中第j个元素， 表示返回使得 为 中最大值的i， 表示返回使得 为 中最大值 的j； 最后， 按照us和ue在题干序列ST中的对应位置， 从题干序列ST中提取代词成分E， 如下所 示： S1.5使用代词成分E替换 学生答案S中的代词p， 得到消代后的学生 答案Sp， 如下所示： 其中， m2为消代后的学生 答案Sp的长度。 3.根据权利要求1所述的一种基于BERT神经网络和多任务学习的主观题自动评阅方 法， 其特征在于： 所述步骤S2具体包括： S2.1以标准答案A＝{a1,a2,…,an2}、 消代后的学生答案Sp与BERT编码符号所组成的句 对2序列S P2， 作为主观 题自动评阅学习任务的输入序列， 如下 所示： 权　利　要　求　书 2/4 页 3 CN 114579706 A 3