(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210737555.9 (22)申请日 2022.06.27 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 刘嘉滨　张轩铭　陈曾平　胡俊　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于知识蒸馏的多自监督任务融合方法、 装 置及存储介质 (57)摘要 本发明公开了一种基于知识蒸馏的多自监 督任务融合方法、 装置及存储介质， 建立多个第 一神经网络模型、 多个自监督任务、 分类任务和 第二神经网络模型， 分别使用各自监督任务， 对 相应的第一神经网络模型进行自监督训练； 通过 知识蒸馏融合各第一神经网络模型与第二神经 网络模型， 使用分类任务对第二神经网络模型进 行训练等步骤。 本发明应用了知识蒸馏技术， 能 够借助经过自监督任务训练的第一神经网络模 型， 提升第二神经网络模型的性能， 使得对第二 神经网络模 型的训练， 融合了有监督学习容易训 练得到准确度高的网络模型， 以及自监督学习容 易进行大规模训练的优点， 使得有监督学习 与自 监督学习的优缺点互补。 本发明广泛应用于人工 智能技术领域。 权利要求书2页 说明书6页 附图3页 CN 115205586 A 2022.10.18 CN 115205586 A 1.一种基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述基于知识蒸馏的多 自监督任务融合方法包括： 建立多个第 一神经网络模型和多个自监督任务； 各所述第 一神经网络模型与 各所述自 监督任务一一对应； 分别使用各 所述自监 督任务， 对相应的所述第一神经网络模型进行自监 督训练； 建立分类任务和第二神经网络模型； 通过知识蒸馏融合各所述第 一神经网络模型与 所述第二神经网络模型， 使用所述分类 任务对所述第二神经网络模型进行训练。 2.根据权利要求1所述的基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述通 过知识蒸馏融合各所述第一神经网络模型与所述第二神经网络模型， 使用所述分类任务对 所述第二神经网络模型进行训练， 包括： 获取所述分类任务对应的样本数据以及真实标签； 将所述样本数据分别输入至各 所述第一神经网络模型； 获取各所述第一神经网络模型对所述样本数据进行处 理分别产生的输出 结果； 融合各所述第一神经网络模型的输出 结果， 获得 软标签； 将所述样本数据输入至所述第二神经网络模型； 获取所述第二神经网络模型对所述样本数据进行处 理产生的预测结果； 获取所述第二神经网络模型对所述样本数据进行处 理产生的软 预测结果； 根据所述预测结果与所述真实标签， 确定第一损失函数值； 根据所述软 预测结果与所述软 标签， 确定第二损失函数值； 根据所述第一损失函数值与所述第二损失函数值， 确定第三损失函数值； 根据所述第三损失函数值， 优化更新所述第二神经网络模型的网络参数。 3.根据权利要求2所述的基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述融 合各所述第一神经网络模型的输出 结果， 获得 软标签， 包括： 将各所述第一神经网络模型的输出 结果加权相加， 获得 所述软标签。 4.根据权利要求2所述的基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述获 取所述第二神经网络模型对所述样本数据进行处 理产生的软 预测结果， 包括： 将所述第二神经网络模型对所述样本数据进行处理产生的预测结果除以蒸馏温度之 后， 输入至 激活函数， 获取 所述激活函数的输出 结果作为所述软 预测结果。 5.根据权利要求2所述的基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述根 据所述预测结果与所述真实标签， 确定第一损失函数值， 包括： 计算所述预测结果与 所述真实标签的交叉熵损失函数， 所得结果作为所述第 一损失函 数值。 6.根据权利要求2所述的基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述根 据所述软 预测结果与所述软 标签， 确定第二损失函数值， 包括： 计算所述软 预测结果与所述软 标签的K1散度， 所 得结果作为所述第二损失函数值。 7.根据权利要求1所述的基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述基 于知识蒸馏的多自监 督任务融合方法还 包括： 在完成对各所述第 一神经网络模型的自监督训练之后， 在使用所述分类任务对所述第权　利　要　求　书 1/2 页 2 CN 115205586 A 2二神经网络模型进行训练之前， 使用所述分类任务， 分别对经过自监督训练的各所述第一 神经网络模型进行训练。 8.根据权利要求1所述的基于知识蒸馏的多自监督任务融合方法， 其特征在于， 所述多 个自监督任务包括图像旋转方向识别任务、 图像相对方向识别任务、 拼图任务和旋转拼图 任务。 9.一种计算机装置， 其特征在于， 包括存储器和处理器， 所述存储器用于存储至少一个 程序， 所述处理器用于加载所述至少一个程序以执行权利要求1 ‑8任一项所述的基于知识 蒸馏的多自监 督任务融合方法。 10.一种存储介质， 其中存储有处理器可执行的程序， 其特征在于， 所述处理器可执行 的程序在由处理器执行时用于执行权利要求 1‑8任一项所述的基于知识蒸馏的多自监督任 务融合方法。权　利　要　求　书 2/2 页 3 CN 115205586 A 3