(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211189380.9 (22)申请日 2022.09.28 (71)申请人 西安工业大 学 地址 710032 陕西省西安市未央区学府中 路2号 (72)发明人 刘萍萍　路萍　张敏　陈言训　 (74)专利代理 机构 西安新思维专利商标事务所 有限公司 61 114 专利代理师 李凤鸣 (51)Int.Cl. G06F 16/9535(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的多目标优化推荐方法 (57)摘要 本发明属于推荐系统排序算法技术领域， 涉 及一种基于深度学习的多目标优化推荐方法， 包 括以下步骤： 建立训练及测试数据集， 并设立模 型学习目标； 引 入Embedding层解决数据特征稀 疏性； 构建高低阶特征交互， 对CTR进行预测； 引 入门控网络； 引入多级专家网络； 建立目标之间 依赖关系， 构建加权多目标损失。 本发明对于多 目标的情况展示了促进目标互相合作、 防止负迁 移和跷跷板现象的好处， 并且达到了满意度和准 确率指标的实质性改善， 可以广泛应用在各种 场 景下的多目标推荐领域， 可以随着人们对于信息 准确度、 多样性需求的不断提高， 通过推荐系统 为用户找到感兴趣的物品并提高用户的使用感 和满意度。 权利要求书2页 说明书7页 附图3页 CN 115510322 A 2022.12.23 CN 115510322 A 1.一种基于深度学习的多目标优化推荐方法， 其特征在于： 所述方法具体包括以下步 骤： 步骤1： 对原始视频推荐数据进行数据预处理与分类， 建立训练及测试数据集， 并设立 模型学习目标； 步骤2： 引入Embed ding层解决数据特 征稀疏性； 步骤3： 构建高低阶特 征交互， 对CTR进行 预测； 步骤4： 为每 个目标引入单独的门控网络； 步骤5： 引入多 级专家网络， 使每 个目标有独立的Exper t， 同时保留了共享的Exper t； 步骤6： 建立目标之间依赖关系， 构建加权多目标损失。 2.根据权利要求1所述的一种基于深度 学习的多目标优化推荐方法， 其特征在于： 所述 步骤1包括以下步骤： 步骤1.1： 原始视频推荐数据的获取采集用户在视频网站连续15天的用户日志， 数据包 括用户特 征， 视频内容特 征， 以及用户历史行为数据， 且 全部经过脱敏处 理， 得到数据标签； 步骤1.2： 数据 预处理与分类分析各个数据 标签在曝光场景与点击场景中的比重， 并对 其中的视频时长标签进行统计分析， 将范围为0 ‑9的时长标签设置阈值为4， 将时长标签大 于4的设为有效时长， 其 他设为无效时长， 得到训练及测试 数据集； 步骤1.3： 设立模型学习目标选取数据标签中的点击标签和视频时长标签作为模型将 要学习的两个目标。 3.根据权利要求2所述的一种基于深度 学习的多目标优化推荐方法， 其特征在于： 所述 步骤2中， Embedding  layer层为嵌入层， 用于对高维稀疏的one ‑hot数据向量做嵌入， 得到 低维稠密的Embedding向量,然后将通过嵌入层后得到的每个稠 密向量横向拼接， 作为模 型 的输入； 嵌入层的输出表示 为： a(0)＝[e1,e2,...， em] 其中ei是第i个字段的嵌入， m是字段数。 然后， a(0)被送入深度神经网络， 前 向传播过程 为： a(l+1)＝σ(W(l)a(l)+b(l)) 其中l是层深度， σ 是激活函数,a(l)， W(l)， b(l)分别是第l层的输出、 模型权重和偏差,之 后， 生成一个稠密的实值特 征向量。 4.根据权利要求3所述的一种基于深度 学习的多目标优化推荐方法， 其特征在于： 所述 步骤3包括以下步骤： 步骤3.1: 构建高低阶特 征交互 首先分别 采用因子分解机和 深度神经网络建模低层次和高层次的特征交互， 把DeepFM 的FM部分保留不变， 把DeepFM的DNN部分换为硬参数共享的Shared ‑Bottom结构， 得到结合 DeepFM和Shared ‑Bottom的多目标基础模型； 步骤3.2:对CTR进行 预测 FM子网络计算稀疏特征和稠密特征的二阶交叉分数， deep子网络将稠密特征和连续特 征拼接输入进网络； 将FM一阶、 二阶分数和deep的最后一层输入拼接， 经过sigmoid得到CTR 的预估值。 5.根据权利要求4所述的一种基于深度 学习的多目标优化推荐方法， 其特征在于： 所述权　利　要　求　书 1/2 页 2 CN 115510322 A 2步骤4中， 对每 个目标k都添加一个单独的门控网络gk， 任务k的输出为： yk＝hk(fk(x)) 门控网络针对各自的目标学习exp erts网络的不同组合模式， 对exp erts网络的输出进 行自适应加权 。 6.根据权利要求5所述的一种基于深度 学习的多目标优化推荐方法， 其特征在于： 所述 步骤5中， 第k个子目标的第j个提取网络中门控网络的定义 为： gk， j(x)＝wk， j(gk， j‑1(x))Sk， j(x) 其中， wk,j是目标k的权重函数作为gk,j‑1的输入， Sk,j是第j个提取网络中任务k的选择矩 阵。 7.根据权利要求6所述的一种基于深度 学习的多目标优化推荐方法， 其特征在于： 所述 步骤6包括以下步骤： 步骤6.1： 建立目标之间依赖关系 引入ESMM构造损失函数的方法， 用了两个共享底层参数的DNN分别预估CTR和CVR， CTCVR的预估值则通过CTR和CVR的预估值的乘积得到,分别估算单独训练的模型pCTR和 pCTCVR并通过关系式获得pCVR； 步骤6.2： 构建加权多目标损失 CTR损失和CTCVR损失加权求和得到一个总损失， 通过最小化总损失求 解模型参数。权　利　要　求　书 2/2 页 3 CN 115510322 A 3