(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211161347.5 (22)申请日 2022.09.23 (65)同一申请的已公布的文献号 申请公布号 CN 115270002 A (43)申请公布日 2022.11.01 (73)专利权人 江苏亿友慧云软件股份有限公司 地址 215200 江苏省苏州市吴江区芦荡路 168号 (72)发明人 沈利东　沈利辉　赵朋朋　堵瀚文　 沈逸旸　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 王金双 (51)Int.Cl. G06F 16/9535(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01) (56)对比文件 CN 114817742 A,202 2.07.29 US 202126410 6 A1,2021.08.26 CN 113590958 A,2021.1 1.02 审查员 高慧美 (54)发明名称 一种基于知识蒸馏的物品推荐 方法、 电子设 备及存储介质 (57)摘要 本申请涉及机器学习技术领域， 具体涉及一 种基于知识蒸馏的物品推荐 方法、 电子设备及存 储介质， 所述方法包括： 基于用户的物品交互记 录构建训练序列和测试序列； 基于所述训练序列 构建用户候选物品预测模型； 将所述测试序列输 入所述用户候选物品预测模型进行预测。 其中， 构建用户候选物品预测模型包括； 使用随机数种 子对训练序列做遮蔽处理生 成若干个遮蔽序列； 构建若干序列推荐平行网络， 将训练序列和遮蔽 序列作为输入分别输入到每个序列推荐平行网 络进行预训练并进行知 识蒸馏， 确定用户候选物 品预测模型的损失函数； 基于所述损失函数对序 列推荐平行网络进行迭代训练获得所述用户候 选物品预测模型。 本申请 的方法， 物品推荐准确 率高， 性能好。 权利要求书2页 说明书10页 附图4页 CN 115270002 B 2022.12.09 CN 115270002 B 1.一种基于知识蒸馏的物品推荐方法， 包括： 基于用户的物品交 互记录构建训练序列和 测试序列； 基于所述训练序列构建用户候选物品预测模型； 将所述测试序列输入所述用户候选物品预测模型进行 预测； 其中， 基于所述训练序列构建用户候选物品预测模型， 包括： 使用随机数种子对训练序列做遮蔽处理生成若干个遮蔽序列， 每个遮蔽序列中的一部 分序列值随机使用遮蔽标志替换； 构建若干序列推荐平行网络， 将所述训练序列和所述遮蔽序列作为输入分别 输入到每 个所述序列推荐平行网络进行 预训练； 基于若干所述序列推荐平行网络的预训练进行知识蒸馏， 确定用户候选物品预测模型 的损失函数； 基于所述损失函数对所述序列推荐平行网络进行迭代训练获得所述用户候选物品预 测模型。 2.根据权利要求1所述的基于知识蒸馏的物品推荐方法， 其特征在于， 所述构建若干序 列推荐平行网络， 将所述训练序列和所述遮蔽序列作为输入分别输入到每个所述序列推荐 平行网络进行 预训练的步骤， 还 包括： 以不同参数初始化若干个序列编码器构建序列推荐平行网络； 基于输入的训练序列， 各序列推荐平行网络生成训练序列的隐藏表示进而输出物品类 概率； 基于输入的遮蔽序列， 各序列推荐平行网络生成遮蔽序列的隐藏表示进而输出候选物 品概率。 3.根据权利要求1所述的基于知识蒸馏的物品推荐方法， 其特征在于， 所述基于若干所 述序列推荐平行网络的训练进行知识蒸馏， 确定用户候选物品预测模型的损失函数的步 骤， 还包括： 基于各序列推荐平行网络 输出的候选物品概 率， 确定第一损失函数； 基于各序列推荐平行网络 输出的物品类概 率， 确定第二损失函数； 基于各序列推荐平行网络内训练序列的隐藏表示和各遮蔽序列的隐藏表示进行网络 内知识蒸馏， 确定第三损失函数； 基于各序列推荐平行网络内训练序列的隐藏表示和各遮蔽序列的隐藏表示进行网络 间知识蒸馏， 确定第四损失函数； 基于各序列推荐平行网络输出的候选物品概率进行网络间知识蒸馏， 确定第五损失函 数； 基于第一损失函数、 第二损失函数、 第三损失函数、 第 四损失函数和第五损失函数， 确 定用户候选物品预测模型的损失函数。 4.根据权利要求3所述的基于知识蒸馏的物品推荐方法， 其特征在于， 所述确定第 一损 失函数的具体步骤 包括： 基于候选物品概率， 确定各序列推荐平行网络 中各遮蔽序列候选物品概率的交叉熵损 失函数； 基于各序列推荐平行网络 中各遮蔽序列候选物品的概率的交叉熵损失函数， 确定第 一权　利　要　求　书 1/2 页 2 CN 115270002 B 2损失函数。 5.根据权利要求3所述的基于知识蒸馏的物品推荐方法， 其特征在于， 所述确定第 二损 失函数的具体步骤 包括： 基于物品类概 率， 确定各序列推荐平行网络的物品类概 率的交叉熵损失函数； 基于各序列推荐平行网络的物品类概 率的交叉熵损失函数， 确定第二损失函数。 6.根据权利要求3所述的基于知识蒸馏的物品推荐方法， 其特征在于， 所述确定第 三损 失函数的具体步骤 包括： 序列推荐平行网络以一个训练序列的隐藏表示为锚点， 以该训练序列生成的遮蔽序列 的隐藏表示为正样本， 以训练批次内的其他训练序列的隐藏表示为负样本， 进行网络内知 识蒸馏， 确定该序列推荐平行网络的网络内知识蒸馏的损失函数； 基于对各序列推荐平行网络的网络内知识蒸馏的损失函数， 确定第三损失函数。 7.根据权利要求3所述的基于知识蒸馏的物品推荐方法， 其特征在于， 所述确定第四损 失函数的具体步骤 包括： 序列推荐平行网络以一个序列推荐平行网络 中训练序列的隐藏表示为锚点， 以该序列 推荐平行网络同一训练批次内的其他训练序列的 隐藏表示为负样本， 以另外一个序列推荐 平行网络的遮蔽序列的 隐藏表示为正样本进 行网络间知识蒸馏， 确定这个两个序列推荐平 行网络的网络间知识蒸馏的损失函数； 基于序列推荐平行网络 两两之间的网络间知识蒸馏的损失函数， 确定第四损失函数。 8.根据权利要求3所述的基于知识蒸馏的物品推荐方法， 其特征在于， 所述确定第五损 失函数的具体步骤 包括： 基于各序列推荐平行网络输出的候选物品概率进行网络间知识蒸馏， 确定各序列推荐 平行网络 两两之间的KL散度； 基于各序列推荐平行网络 两两之间的KL散度， 确定第五损失函数。 9.一种电子设备， 其特 征在于， 包括： 处理器； 存储器， 包括 一个或多个 计算机程序模块； 其中， 所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理 器执行， 所述一个或多个计算机程序模块包括用于实现权利要求1 ‑8中任一项所述的基于 知识蒸馏的物品推荐方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机指令， 当计算机指令运 行时执行权利要求1 ‑8中任一项所述的基于知识蒸馏的物品推荐方法的步骤。权　利　要　求　书 2/2 页 3 CN 115270002 B 3