(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110623936.X (22)申请日 2021.06.04 (65)同一申请的已公布的文献号 申请公布号 CN 113205863 A (43)申请公布日 2021.08.0 3 (73)专利权人 广西师范大学 地址 541004 广西壮 族自治区桂林市七 星 区育才路15号 (72)发明人 龚艳霞　梁媛　李先贤　欧阳扬　 (74)专利代理 机构 桂林市持衡专利商标事务所 有限公司 45107 代理人 陈跃琳 (51)Int.Cl. G16H 10/60(2018.01) G16H 50/50(2018.01) G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 111/08(2020.01) (56)对比文件 CN 111985649 A,2020.1 1.24CN 112836830 A,2021.0 5.25 CN 112329940 A,2021.02.0 5 CN 112529027 A,2021.0 3.19 CN 112001321 A,2020.1 1.27 US 20210 51169 A1,2021.02.18 CN 111310938 A,2020.0 6.19 石进 等.“联邦学习的隐私保护技 术研究”. 《现代信息科技》 .2021,第5卷(第1期),138-142. 曾春艳 等. “深度学习模型 可解释性研究综 述”. 《计算机 工程与应用》 .2021,第57 卷(第8 期),1-9. Donglin Jiang et al. .“Federated Learning Algorithm Based o n Knowledge Distillation”. 《 2020 I nternati onal Conference o n Artificial I ntelligence and Computer Engi neering (ICAIC E)》 .2021,16 3- 167. (续) 审查员 江琳 (54)发明名称 基于蒸馏的半监督联邦学习的个性化模型 的训练方法 (57)摘要 本发明公开一种基于蒸馏的半监督联邦学 习的个性化模型的训练方法， 采用知识蒸馏技 术， 客户端通过上传模型预测而不是模型参数， 使得每个客户端可以选择自己设计的模型架构， 很好地保护了客户端关于模型的隐私信息， 而利 用共享数据与客户端的本地数据一起进行训练， 极大地提高模型的泛化能力。 此外， 聚合方案能 根据每个客户端提供知识的重要程度来进行动 态聚合， 使聚合的模型预测更好地融合了客户端 的模型知识。 服务器聚合完成后， 回传给客户端 的不是公共数据的模型预测分布信息而是伪标签信息， 利用这种方式进 一步地提高了通信传输 效率。 [转续页] 权利要求书1页 说明书6页 附图1页 CN 113205863 B 2022.03.25 CN 113205863 B (56)对比文件 Sohei Itahara. “Distillation-Based Semi-Supervised F ederated Learn ing for Communication-Efficient Co llaborative Training with Non-IID Private Data ”. 《IEEE Transacti ons on Mobile Computi ng ( Early Access )》 .2021,1-15.Zheng Zack Hui et al. .“Federation learning optimizati on using distillation”. 《2021 Asia-Pacific Conference o n Communications Technology and Computer Science (AC CTCS)》 .2021,25 - 28.2/2 页 2[接上页] CN 113205863 B1.基于蒸馏的半监 督联邦学习的个性 化模型的训练方法， 其特 征是， 包括步骤如下： 步骤1、 每个客户端分别使用自己的无标签本地数据集训练一个对抗生成网络， 并将对 抗生成网络及其采样噪声的种子上传至中心 服务器； 中心服务器先利用每个客户端的对抗 生成网络及其采样噪声的种子生成每个客户端的无标签合成样本， 再从所有客户端的无标 签合成样本中选择一部 分作为无标签共享数据集； 所有客户端从中心服务器上下载无标签 共享数据集； 步骤2、 令当前轮次t＝1,中心服务器从所有客户端中选择一部分客户端作为参与方进 行协同训练； 在协同训练过程中， 每个参与方分别先利用自己的有标签本地数据集和无标 签本地数据集对自己的本地神经网络模型进 行半监督训练， 得到本轮训练的本地神经网络 模型； 再利用本轮训练的本地神经网络模型对无标签共享数据集进行预测， 得到每个参与 方在第t轮次的模型 预测矩阵； 步骤3、 中心服务器先计算第t轮次的聚合模型预测矩阵， 再从第t轮次的聚合模型预测 矩阵中挑选概 率最大的类别标签作为伪标签， 后将伪标签传回给 所有的客户端； 式中， 为第t轮次的聚合模型预测矩阵， 为第t‑1轮次的聚合模型预测矩 阵， 为参与方k ′在第t轮次的模型预测矩阵， 为第t‑1轮次的聚合模型 预测矩阵与参与方k ′在第t轮次的模型预测矩阵的JS散度值， K ′为参与方的数量， ε为设定 的近似值； 步骤4、 令当前轮次t加1,中心服务器从所有客户端中选择一部分客户端作为参与方进 行协同训练； 在协同训练过程中， 每个参与方先将伪标签作为无标签共享数据集的每个样 本的标签， 得到有标签共享数据集； 再利用有标签共享数据集、 自己的有标签本地数据集和 无标签本地数据集对自己的本地神经网络模型进 行半监督训练， 得到本轮训练的本地神经 网络模型； 后利用本轮训练的本地神经网络模型对无标签共享数据集进行预测， 得到每个 参与方在第t轮次的模型 预测矩阵； 步骤5、 判断当前轮次t是否达到设定的最大轮次： 如果是， 则停止训练； 否则， 返回步骤 3。 2.根据权利要求1所述的基于蒸馏的半监督联邦学习的个性化模型的训练方法， 其特 征是， 参与方在第t轮次的模型预测矩阵的每一行为该参与方在第t轮次的无标签共享数据 集的每一个样本的所有类别标签的概 率分布。 3.根据权利要求2所述的基于蒸馏的半监督联邦学习的个性化模型的训练方法， 其特 征是， 每个参与方的模型预测矩阵是一个 Np×D的矩阵， Np为无标签共享数据集的样本数量， D为类别标签数量。权　利　要　求　书 1/1 页 2 CN 113205863 B 3