(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110717168.4 (22)申请日 2021.06.28 (65)同一申请的已公布的文献号 申请公布号 CN 113378474 A (43)申请公布日 2021.09.10 (73)专利权人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 林伟伟　许银海　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06F 30/27(2020.01) G06F 111/08(2020.01)(56)对比文件 CN 113011599 A,2021.0 6.22 US 2020285980 A1,2020.09.10 审查员 周燕 (54)发明名称 一种基于贡献量的联邦学习客户机选择方 法、 系统及 介质 (57)摘要 本发明公开了一种基于贡献量的联邦学习 客户机选 择方法、 系统及介质。 该方法包括： 初始 化选择权重； 计算客户机选择概率； 选择客户机 集合进行本地训练； 计算客户机贡献量； 无偏估 计并更新选择权重； 迭代训练。 本发明定义客户 机对全局模型准确率的提高量作为客户机的贡 献量， 基于贡献量更新客户机的选择权重， 为性 能优异的客户机和本地数据集优质的客户机分 配高选择概率， 降低性能差和数据集恶劣的客户 机选择概率， 提高最终聚合模型收敛速度和效 果。 另外， 本发明可通过调节客户机贡献量的无 偏估计的调节系数θ， 满足不同场景需求， 如追 求全局模型准确率、 模型收敛速度或者两者的有 效平衡， 具有很强的适应性。 权利要求书2页 说明书7页 附图5页 CN 113378474 B 2022.09.20 CN 113378474 B 1.一种基于贡献量的联邦学习客户机 选择方法， 其特 征在于， 包括以下步骤： 初始化选择权 重ωi， 1＝1/K， 其中K为所有 待选择的智能终端客户机的个数； 在每一轮训练开始前， 根据选择权重ωi， t计算所有客户机的选择概率pi， t， 其中t∈Γ， Γ＝{1， 2， …， T}表示训练轮数的集 合， 最多训练T轮； 基于客户机的选择概 率pi， t选择k个客户机集 合At； 分发全局模型至At内被选择的客户机， 被选择的客户机基于 本地数据训练模型； 依次接收被选择的客户机训练得到的本地模型， 并计算每个客户机的贡献量ai， t， 所述 客户机的贡献量ai， t为全局模型融合对应客户机 本地模型后准确率的变化 量， 表示如下： ai， t＝Z‑Z*； 其中Z*和Z分别表示在第t轮通信回合中融合第i个客户机前后全局 模型的准确率； ai， t 表示第t轮中第i个客户机对 全局模型准确率的贡献量； 对本轮贡献量ai， t进行无偏估计， 预测每个客户机下一轮的贡献量 基于客户机 下一轮的贡献量 更新该客户机i的选择权 重ωi， t为ωi， t+1； 若训练达到指定轮数或全局模型准确率达到设定的目标值， 则退出； 否则返回计算客 户机选择概率的步骤进行 下一轮训练。 2.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法， 其特征在于， 所述 根据选择权 重ωi， t计算所有客户机的选择概 率pi， t具体如下式： 其中， pi， t表示第t轮中第i个客户机的选择概率； ωi， t表示第t轮中第i个客户机的选择 权重； K为所有 待选择的智能终端客户机的个数。 3.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法， 其特征在于， 所述 客户机的贡献量ai， t∈[‑1， 1]。 4.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法， 其特征在于， 所述 对本轮贡献量ai， t进行无偏估计， 预测每个客户机下一轮的贡献量 具体为： 基于本轮 训练中客户机对 全局模型的真实贡献量， 估计下一轮此客户机的贡献量， 如下式： 其中 表示在第t+1轮通信回合中第i个客户机的贡献量的无偏估计； pi， t表示在第 t轮通信回合中第i个客户机的选择概 率。 5.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法， 其特征在于， 所述 ωi， t+1的更新方式具体为： 其中， ωi， t表示第t轮中第i个客户机的选择权重； 表示在第t+1轮通信回合中第i 个客户机的贡献量的无偏估计； θ表示 的调节系数， 其取值范围为[1， ∞)； η表示权重 更新的学习率， 其取值范围为(0， 1)。 6.根据权利要求1所述一种基于贡献量的联邦学习客户机选择方法， 其特征在于， 客户权　利　要　求　书 1/2 页 2 CN 113378474 B 2机选择过程的目标为全局模型的贡献量 最大化， 目标函数定义如下： P1： At～(p1， t， p2， t，…， pK， t)； 其中目标函数P1表示T轮贡献量总和的期望， 即每一轮训练中选择对全局模型贡献量 最大客户机的依据， pi， t表示第t轮中第i个客户机的选择概率， At为根据客户机概率随机选 择的客户机组合。 7.根据权利要求6所述一种基于贡献量的联邦学习客户机选择方法， 其特征在于， 每一 轮选择最大的客户机集合获得的贡献量 故目标函 数还表示 为： P2： 通过将目标函数从P1转化为P2， 把最大贡献量客户机选择问题转化为客户机的选择概 率分配问题。 8.一种基于贡献量的联邦学习客户机选择系统， 其特征在于， 应用权利要求1 ‑7中任一 项所述的一种基于贡献量的联邦学习客户机选择方法， 包括预 处理模块、 模型训练模块、 参 数更新模块以及判定模块； 所述预处理模块用于初始化选择权重ωi， 1＝1/K， 其中K为所有待选择的智能终端客户 机的个数， 并在每一轮训练开始前， 根据选择权重ωi， t计算所有客户机的选择概率pi， t， 其 中t∈Γ， Γ＝{1， 2， …， T}表示训练轮数的集合， 最多训练T轮； 最后基于客户机的选择概率 pi， t选择k个客户机集 合At； 所述模型训练模块用于分发全局模型至At内被选择的客户机， 被选择的客户机基于本 地数据训练模型， 并依 次接收被选择 的客户机训练得到的本地模型， 并计算每个客户机的 贡献量ai， t， 所述客户机的贡献量ai， t为全局模 型融合对应客户机本地模 型后准确率的变化 量， 表示如下： ai， t＝Z‑Z*； 其中Z*和Z分别表示在第t轮通信回合中融合第i个客户机前后全局 模型的准确率； ai， t 表示第t轮中第i个客户机对 全局模型准确率的贡献量； 所述参数更新模块用于对每个客户机贡献量ai， t进行无偏估计， 计算客户机i下一轮的 贡献量 并将客户机i的选择权 重ωi， t更新为ωi， t+1； 所述判定模块用于判断是否结束训练， 具体为： 若训练达到指定轮数或全局模型准确 率达到设定的目标值， 则退 出； 否则返回计算 客户机选择概率的步骤进行 下一轮训练。 9.一种存储介质， 存储有程序， 其特征在于： 所述程序被处理器执行时， 实现权利要求 1‑7任一项所述的一种基于贡献量的联邦学习客户机 选择方法。权　利　要　求　书 2/2 页 3 CN 113378474 B 3