(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221040172 9.4 (22)申请日 2022.04.18 (71)申请人 广东工业大 学 地址 510000 广东省广州市越秀区东 风东 路729号 (72)发明人 陈梓浩　曾碧　林镇涛　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 张燕玲 (51)Int.Cl. G06F 16/35(2019.01) G06F 16/383(2019.01) G06F 16/332(2019.01) G06F 16/335(2019.01) G06F 40/289(2020.01)G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向多任务联邦学习的文本匹配方法 (57)摘要 本发明公开了一种面向多任务联邦学习的 文本匹配方法， 包括： 在服务器以及各客户端上 构建bm25+esim模型； bm25算法用于对样本信息 库进行处理， 从样本信息库中召回相似度最高的 k条样本信息； 样本信息包括用户特征信息以及 对应的推荐信息； 需要推荐的目标用户所输入的 文本信息与召回的k条样本信息构成样本信息 对； esim模型用于对样本信息对进行处理， 输出 目标用户的用户特征信息在k条样 本信息中的分 类， 就得到了文本匹配结果； 该方法采用横向联 邦学习， 服务器通过基于多头注 意力机制的图神 经网络节 点选择方案选择部分客户端。 各客户端 使用k折交叉验证切分数据集， 训练后向服务器 发送参数； 服务器根据收到的全部参数， 更新自 身参数， 并发送给客户端。 权利要求书3页 说明书9页 附图4页 CN 114860927 A 2022.08.05 CN 114860927 A 1.一种面向多任务联邦学习的文本匹配方法， 其特 征在于， 包括以下步骤： 在服务器以及各客户端上构建由bm25算法以及esim模型构成的bm25+esim模型； 所述 bm25算法用于对样本信息库进 行处理， 从样 本信息库中召回相似度最高的k条样本信息； 所 述样本信息包括用户特征信息以及 对应的推荐信息； 需要推荐的目标用户所输入的文本信 息与召回的k条样本信息构成样 本信息对； 所述esim模型用于对样本信息对进 行处理， 输出 目标用户的用户特 征信息在k条样本信息中的分类， 就得到 了文本匹配结果； 服务器通过节点选择方案选择部分客户端， 发送最新的bm25+esim模型参数w作 为所选 择的客户端本地 的bm25+esim模型参数wi； 被服务器选择出的各客户端根据接收到的模型 参数wi， 训练本地模型esim， 计算出梯度gi， 利用梯度gi更新模型参数wi， 并计算本地数据集 的平均数据误差度davg， i； 各被选择出的客户端向服务器发送训练后的本地模型参数 和 平均数据误差度davg， i； 服务器根据收到的所有 本地模型参数更新自身参 数w； 服务器将自身 参数w发送给 各客户端， 各客户端利用参数w对本地模型参数进行 更新。 2.根据权利要求1所述的面向多任务联邦学习的文本匹配方法， 其特征在于， 所述服务 器通过节点选择 方案选择部分客户端， 包括： 1.1将服务器自身的bm25+esim模型参数和客户端本地bm25+esim模型参数分别作为 和 计算权重系数eij： 其中a为注意力机制计算函数， 采用相似度函数； W表示注意力机制， 表示为esim模型提 取特征的转置矩阵； 1.2采用softmax函数重新计算权 重系数， 更新后的系数为aij， 计算公式为： 其中Ni为由全部客户端组成的集合， eik为第k个客户端的权重系数， softmaxj表示将 softmax函数应用于第j个客户端； 1.3引入多头机制， 通过多次训练得到多个矩阵W并计算多个系数aij， 通过以下公式的 计算得到的结果aij′， 即为客户端在多头注意力机制下的权 重系数： 其中K为使用注意力机制的数量， 为第j个客户端在第K个注意力机制中的权 重系数； 1.4设定一个权重系数阈值ThresholdMin， 仅当权重系数aij′不小于阈值ThresholdMin 时， 认为aij′对应的客户端具有参考价值， 则将该客户端作为服务器 通过节点选择方案选择 出的客户端。 3.根据权利要求1所述的面向多任务联邦学习的文本匹配方法， 其特征在于， 所述客户 端上设置数据输入接口， 用于获取需要推荐的目标用户的文本信息； 本地数据集中的一条 样本信息包含A、 B两部 分， 其中： A是目标用户的输入的文本信息， 也就是目标用户的用户特权　利　要　求　书 1/3 页 2 CN 114860927 A 2征信息； B是用户特征信息经过esim模型的文本匹配， 找到匹配度最高的样本信息， 如果该 样本信息对应的推荐信息不被用户采纳或者匹配度达不到阈值， 则收集用户重新选择的信 息， 记录该用户重新选择的信息作为 新的推荐信息， 与A组成一条样本信息 。 4.根据权利要求1所述的面向多任务联邦学习的文本匹配方法， 其特征在于， 所述计算 本地数据集的平均数据误差度davg， i， 包括： 客户端在被目标用户使用的过程中， 用户输入的文本信息与esim模型匹配出的目标不 符或达不到最小置信度时， 记录当前esim模型输出的置信度ConfidenceCurrent与预设的最 小置信度Co nfidenceMin的差值， 即数据误差度d： d＝ConfidenceMin‑ConfidenceCurrent 在客户端每次收集到新的用户输入的文本信 息时， 统计当前已有本地数据的数据误差 度d， 得到第i个客户端的本地数据集的平均数据误差度davg： 其中， dj表示第j次的数据误差度， n表示 客户端上计算数据误差度的总次数。 5.根据权利要求1所述的面向多任务联邦学习的文本匹配方法， 其特征在于， 客户端的 esim模型训练前， 将原始数据集与本地数据集构成样本信息库， 并对样本信息库进行预处 理操作； 原始数据集中的样本信息为经过生产厂家调研得出， 由样本用户的用户特征信息 与对应的推荐信息组成； 对样本信息库的样本信息进行混乱， 将混乱后的样本信息使用k折交叉验证划分为训 练集和测试集， 结合接收到的模型参数wi对客户端的esim模型进行训练， 并计算梯度gi； 当 模型未收敛时， 用梯度gi继续训练； 如已收敛， 得到训练后的模型参数 6.根据权利要求1所述的面向多任务联邦学习的文本匹配方法， 其特征在于， 所述预处 理操作包括分词、 去掉停用词、 过 滤无效符号； 所述样本信息进行混乱采用random方法。 7.根据权利要求1所述的面向多任务联邦学习的文本匹配方法， 其特征在于， 所述各被 选择出的客户端向服务器发送训练后的本地模型参数 和平均数据误差度davg， i； 服务器 根据收到的所有本地模型参数 更新自身参数w， 包括： 3.1计算第i个客户端对应的最终权 重系数pi， 计算公式为： 其中， n为服务器经过选择方案选择的客户端的数量； 3.2服务器利用客户端向服务器上传的参数 和平均数据误差度davg， i， 更新自身参数 w， 所采用的计算公式为： 其中， n为服务器经过选择方案选择的客户端的数量。 8.根据权利要求1所述的面向多任务联邦学习的文本匹配方法， 其特征在于， 样本信 息 对传入esim模型中以后， 通过Embedding层获得目标用户的用户特征信息的向量化表 示， 然 后使用BiLSTM获得用户特征信息的语义特征， 并保存此时隐藏状态的值； 利用权　利　要　求　书 2/3 页 3 CN 114860927 A 3