(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202110660559.7 (22)申请日 2021.06.15 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 刘亮　马华东　高雨佳　王鹏飞　 (74)专利代理 机构 北京挺立专利事务所(普通 合伙) 11265 专利代理师 高福勇 (51)Int.Cl. G06F 30/27(2020.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于元学习的个性 化联邦学习方法 (57)摘要 一种基于元学习的个性化联邦学习方法涉 及联邦学习方法技术领域， 解决了协同训练灵活 性低、 算法复杂的问题， 步骤一、 云服务器确认客 户端数量、 设置基础网络和元网络的超参数、 初 始化全局模型参数； 步骤二、 客户端下载全局模 型参数， 根据超参数和本地数据集训练本地模 型； 步骤三、 上传本地模 型参数， 云服务器利用全 局模型聚合方法计算全局模型参数； 步骤四、 返 回步骤二直至客户端得到稳定的本地模 型参数； 步骤五、 客户端从云服务器下载全局模型参数和 全部本地模型参数， 交替训练元网络和基础网 络， 云服务器 保存本地模型参数并计算以更新全 局模型参数； 步骤六、 重复步骤五直至本地模型 达到要求的准确率或收敛。 本发 明协同训练的过 程灵活性、 算法简单。 权利要求书2页 说明书9页 附图1页 CN 115481560 A 2022.12.16 CN 115481560 A 1.一种基于元 学习的个性 化联邦学习方法， 其特 征在于， 包括如下步骤： 步骤一、 云服务器确认参与协同训练的客户端数量， 所述云服务器设置每个客户端的 基础网络和设置每个客户端的元网络的训练超参数， 云服务器初始化全局模型参数， 并将 全局模型参数发送至每 个客户端， 进行步骤二； 步骤二、 客户端下载云服务器发来的最新的全局模型参数， 客户端用全局模型参数对 本地模型参数进行赋值； 客户端根据赋值后的本地模型参数， 使用本地训练集， 在 超参数的 情况下， 对基础网络的本地模型训练， 得到新的本地模型参数， 进行步骤三； 步骤三、 客户端将最新的本地模型参数上传至云服务器， 云服务器根据最新的本地模 型参数并利用全局模型聚合方法计算以更新全局模型参数， 进行步骤四； 步骤四、 以最新的全局模型参数返回步骤二， 直至通过步骤二客户端得到稳定的新的 本地模型参数时， 进行步骤五； 步骤五、 客户端从云服务器下载最新的全局模型参数和全部客户端的稳定的新的本地 模型参数， 交替训练元网络和基础 网络得到客户端的本地模型， 客户端上传本地模型参数 至云服务器进行保存， 云服 务器计算以更新全局模型参数， 进行步骤六； 步骤六、 重复步骤五， 直至客户端的本地模型达到要求的准确率或客户端的本地模型 收敛时， 停止训练。 2.如权利要求1所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述初始 化的全局模型参数为随机向量或特定值。 3.如权利要求1所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述训练 超参数包括E和B， E表示客户端的每个边缘节点在每一个通信轮次中的会使用本地数据集 的全部数据对本地模型进行完整训练的次数； B表示客户端本地模型训练中进行一次将更 新后的本地模型参数 上传至云服 务器时， 客户端所 取的小批次样本的条 数。 4.如权利要求3所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述步骤 二具体为： 客户端i 下载云服务器发来的最新的全局模型参数xg， 客户端i用xg对本地模型参 数xi进行赋值， 令xi＝xg； 客户端i根据xi＝xg， 使用其本地数据集Di， 在超参数为E和B的情况 下进行其基础网络的本地模型训练， 本地模型训练的公式为： 其中， α 表示学习率， F()表示目标函数。 5.如权利要求4所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述客户 端i的目标函数F(xi)＝L(f(xi)； Di)， 其中Di表示客户端i的本地数据 集， f(xi)表示客户端i 的本地模型， L( ·)是Di和f(xi)之间的误差的损失函数。 6.如权利要求4所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述步骤 五的交替训练具体为： 利用以下函数交替训练元网络和基础网络： 其中， α 表示学习率， G(X, θ )为元网络和基础网络训练的目标函数， X＝{x1， x2， ...， xm}，权　利　要　求　书 1/2 页 2 CN 115481560 A 2m为步骤一确定的客户端的总数， i表示客户端， 0≤i≤m， xi表示本地模型参数， θ表示元网 络的训练出的元模型参数， 为元网络的输出结 果， 混合了各客户端本地模型参数和全局模型参数的混合模型参数， θi表示客户端i的 元模型参数。 7.如权利要求1所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述步骤 三的全局模型聚合方法为联邦平均算法。 8.如权利要求1所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述客户 端xi的元学习网络包括第一层网络结构和第二层网络结构， 所述第一层网络结构的聚合函 数为g1(·)， 为注意增强模型参数， 其中 表示 除目标客户端xi外的所有参与协同训练的客户端的集合； 所述第二层网络结构的聚合函数 为g2(·)， 表示混合模型参数， 表示第二层网络结 构中的可 学习参数， xg表示全局模型参数。 9.如权利要求8所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述第 一 层网络结构能够自动分析 与xi之间的相似性， 并使用加权分数聚合 中每个客户端 的本地模型参数， 将聚合结果作为注意力增强模型引入第二层网络结构。 10.如权利要求8所述的一种基于元学习的个性化联邦学习方法， 其特征在于， 所述g2 (·)的采用注意力机制计算 所述g1(·)的采用注意力机制计算 其中， 表示第一层 网络结构中的可学习参数， 表示xi对应的可学习 参数， 表示 对应的可 学习参数， d表示缩放因子 。权　利　要　求　书 2/2 页 3 CN 115481560 A 3