(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210373086.7 (22)申请日 2022.04.11 (71)申请人 上海明胜品智人工智能科技有限公 司 地址 200030 上海市徐汇区龙兰路27 7号2 号楼5楼5B0 6单元 (72)发明人 谢亚雄　温珂伟　 (74)专利代理 机构 北京超成律师事务所 1 1646 专利代理师 邓超 (51)Int.Cl. G06F 40/295(2020.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) (54)发明名称 任务处理模型的模型训练方法、 装置、 设备 及存储介质 (57)摘要 本申请提供了一种任务处理模型的模型训 练方法、 装置、 设备及存储介质， 该方法包括： 通 过共享特征提取模型提取训练语料中多种类别 的共享特征信息； 按照预设输入方式， 将共享特 征信息和基于训练语料标注的训练文本信息输 入至多个子任务模型中， 并行对多个子任务模型 进行训练， 根据每一子任务模型的任务训练损失 的梯度变化情况， 对该子任务模 型的权重系数进 行调整， 以使多个子任务模型的训练率位于同一 数值范围区间内， 直至多个子任务模 型的整体损 失函数满足训练截止条件。 这样， 本申请在保障 每个子任务模 型能够独立训练的同时， 可以为不 同的子任务模型提供与其执行的子任务相关的 多种共享特征信息， 进而， 提高任务处理模型的 整体模型训练效果。 权利要求书3页 说明书17页 附图5页 CN 114722827 A 2022.07.08 CN 114722827 A 1.一种任务处理模型的模型训练方法， 其特征在于， 应用于多任务学习 模型框架， 所述 多任务学习模型框架包括任务处理模型和预先训练好的共享特征提取模型， 所述任务处理 模型包括多个子任务模型； 所述模型训练方法包括： 获取训练语料， 并将所述训练语料输入至所述共享特征提取模型中， 通过所述共享特 征提取模型提取 所述训练语料中多种类别的共享特 征信息； 按照预设的输入方式， 将所述多种类别的共享特征信 息和基于所述训练语料标注的训 练文本信息输入至所述多个子任务模型中， 并行对所述多个子任务模型进行训练， 以使所 述多个子任务模型的整体损失函数满足训练截止条件； 在所述多个子任务模型独立训练的过程中， 获取每一所述子任务模型的任务训练损 失， 多任务学习模型框架根据每一所述子任务模型 的任务训练损失的梯度变化情况， 对多 任务学习模型框架该子任务模型的权重系数进行调整， 以使 所述多个子任务模型的训练率 位于同一数值范围区间内， 直至所述多个子任务模型的整体损失函数满足所述训练截止条 件， 将训练好的多个子任务模型作为训练好的任务处 理模型。 2.根据权利要求1所述的模型训练方法， 其特征在于， 所述多种类别的共享特征信 息包 括： 训练语料被切分成字序列后的字特征向量； 训练语料中表征词语与词语之间的句法依 赖关系的词语特 征向量； 训练语料中的句特 征向量。 3.根据权利要求1所述的模型训练方法， 其特征在于， 通过如下方法确定所述共享特征 提取模型待提取的共享特 征信息的多种类别： 根据所述多个子任务模型待执行的多个子任务之间的目标任务依赖关系， 从预设的任 务依赖关系表中确定所述目标任务依赖关系对应的多种信息类别作为所述待提取的共享 特征信息的多种类别； 其中， 所述任务依赖关系表预先存储有多种任务依赖关系对应的多 种信息类别。 4.根据权利要求1所述的模型训练方法， 其特征在于， 通过如下方法确定所述共享特征 提取模型待提取的共享特 征信息的多种类别： 根据所述任务处理模型待执行的目标任务， 以所述任务处理模型包括的多个子任务模 型作为第一搜索空间， 以能够执行所述 目标任务作为第一搜索策略， 对所述第一搜索空间 内不同子任务模型之间的子任务模型组合方式进 行神经网络结构 搜索， 得到符合所述第一 搜索策略的最优子任务模型组合方式； 将所述最优子任务模型组合方式下包括的每 个子任务模型作为第一子任务模型； 根据每一所述第 一子任务模型待执行的子任务之间的第 一任务依赖关系， 从预设的任 务依赖关系表中确定所述第一任务依赖关系对应的多种信息类别作为所述待提取的共享 特征信息的多种类别。 5.根据权利要求1所述的模型训练方法， 其特征在于， 通过如下方法确定所述共享特征 提取模型待提取的共享特 征信息的多种类别： 根据所述任务处理模型待执行的目标任务， 获取与完成所述目标任务相关的多种 文本 特征信息； 以所述多种 文本特征信 息作为第 二搜索空间， 以所述多个子任务模型能够基于不同文 本特征信息的信息组合完成所述目标任务作为第二搜索策略， 对所述第二搜索空间内不同 文本特征信息之间的信息组合方式进 行神经网络结构 搜索， 得到符合所述第二搜索策略的权　利　要　求　书 1/3 页 2 CN 114722827 A 2最优信息组合方式； 将所述最优信息组合方式下包括的每种文本特征信息所属的信息类别作为所述待提 取的共享特 征信息的多种类别。 6.根据权利要求1所述的模型训练方法， 其特征在于， 所述按照预设的输入方式， 将所 述多种类别的共享特征信息和基于所述训练语料标注的训练文本信息输入至所述多个子 任务模型中， 包括： 在每一所述子任务模型的首层模型输入节点处， 将所述训练文本信 息输入至每一所述 子任务模型中； 将所述多种类别的共享特征信 息按照信 息类别与训练节点之间的对应关系， 以分层输 入的第一输入方式， 分层 级输入至每一所述子任务模型中的不同训练节点处； 其中， 每一所 述子任务模型中的不同训练节点是按照子任务模型中神经网络由浅到深的层级进行排序 的。 7.根据权利要求1所述的模型训练方法， 其特征在于， 所述按照预设的输入方式， 将所 述多种类别的共享特征信息和基于所述训练语料标注的训练文本信息输入至所述多个子 任务模型中， 还 包括： 在每一所述子任务模型的首层模型输入节点处， 以首层输入的第二输入方式， 将所述 多种类别的共享特 征信息和所述训练文本信息同步输入至每一所述子任务模型中。 8.根据权利要求7所述的模型训练方法， 其特征在于， 所述以首层输入的第二输入方 式， 将所述多种类别的共享特征信息和所述训练文本信息同步输入至每一所述子任务模型 中， 包括： 在对不同子任务模型待执行的子任务所属的任务类型不进行区分时， 以所述第 二输入 方式， 将所述多种类别的共享特征信息和所述训练文本信息同步输入至每一所述子任务模 型中； 或者， 在对不同子任务模型待执行的子任务所属的任务类型进行区分时， 针对每一所述子任 务模型， 根据该子任务模型待执行 的子任务， 确定所述多种类别的共享特征信息中与该子 任务模型待执 行的子任务相匹配的目标共享特 征信息； 以所述第二输入方式， 将所述多种类别的共享特征信息、 所述训练文本信息以及所述 目标共享特 征信息同步输入至该子任务模型中。 9.根据权利要求1所述的模型训练方法， 其特征在于， 所述多个子任务模型的整体损失 函数是根据每一所述子任务模型的任务训练损失的梯度以及所述多任务学习模型框架中 该子任务模型的权重系数的乘积确定的； 所述根据每一所述子任务模型的任务训练损失的 梯度变化情况， 对该子任务模型的权 重系数进行调整， 包括： 针对每一所述子任务模型， 以该子任务模型的任务训练损 失的梯度作为目标梯度， 在 梯度检测周期内， 获取 所述目标梯度在所述检测周期内的周期变化幅度； 当检测到所述目标梯度的周期变化幅度大于或者等于参考梯度变化量 时， 则按照梯度 降低调节系数， 对该子任务模型的权 重系数进行 下降式的动态调整； 当检测到所述目标梯度的周期变化幅度小于所述参考梯度变化量 时， 则按照梯度升 高 调节系数， 对该子任务模型的权 重系数进行升高 式的动态调整。权　利　要　求　书 2/3 页 3 CN 114722827 A 3