(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211175093.2 (22)申请日 2022.09.26 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 北京邮电大 学新科研楼627室 (72)发明人 欧中洪　张旭　宋美娜　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06F 16/9535(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于子空间投影神经网络的点击率预估方 法和装置 (57)摘要 本申请提出了一种基于子空间投影神经网 络的点击率预估方法， 涉及人工智能技术领域， 其中， 该方法包括： 采集用户数据； 对用户数据进 行特征处理， 得到用户特征， 其中， 特征处理包括 归一化处理、 离散化处理、 未知值处理； 将用户特 征输入训练好的深度神经网络模 型中， 输出用户 点击物品概率的预测结果， 其中， 深度神经网络 模型由logloss损失函数进行训练生成； 根据预 测结果对物品候选集进行筛选， 得到最终推荐结 果。 采用上述方案的本发明实现了端到端为用户 提供个性 化精确推荐。 权利要求书3页 说明书9页 附图4页 CN 115495654 A 2022.12.20 CN 115495654 A 1.一种基于 子空间投影神经网络的点击率预估方法， 其特 征在于， 包括以下步骤： 采集用户数据； 对所述用户数据进行特征处理， 得到用户特征， 其中， 所述特征处理包括归一化处理、 离散化处理、 未知值处 理； 将所述用户特征输入训练好的深度神经网络模型中， 输出用户点击物品概率的预测结 果， 其中， 所述深度神经网络模型由l ogloss损失函数进行训练生成； 根据所述预测结果对物品候选集进行筛 选， 得到最终推荐结果。 2.如权利要求1所述的方法， 其特征在于， 所述用户数据包括痕迹数据、 特征数据， 所述 痕迹数据为用户在当前平台浏览信息时产生的历史行为记录， 所述特征数据为用户填写的 用户自身信息， 所述对所述用户数据进行 特征处理， 包括： 对连续特 征的异常值进行归一 化； 对稀疏的类别型 特征进行离 散化并转换成相应的ID； 采集缺失的特 征， 并为缺失值赋予特定ID， 其中， 所述特定ID与普通 ID不同。 3.如权利要求1所述的方法， 其特征在于， 所述深度神经网络模型包括嵌入层、 子空间 投影层、 深度层， 所述 logloss损失函数表示 为： 其中， N表示样本数， yi表示真实标签， 表示模型 预测结果。 4.如权利要求3所述的方法， 其特征在于， 将所述用户特征输入所述嵌入层进行特征嵌 入， 包括： 将所述用户特 征中的稀疏 特征、 数值特 征转换为稠密向量； 将不同域的稠密特 征向量进行拼接， 得到特 征拼接向量作为所述嵌入层的输出； 其中， 所述稀疏 特征转换生成的稠密向量表示 为： ei＝Wixi 其中， Wi表示特征域权重矩阵， xi表示特征域的one‑hot向量； 所述数值特 征转换生成的稠密向量表示 为： ej＝Vjxj 其中， Vj表示数值特 征域对应的特 征向量， xj表示特征域的具体数值； 所述特征拼接向量表示 为： E＝[e1， e2，…， ef] 其中， E表示 拼接后的向量， e表示各个域的特 征向量， ef表示第f个域的特 征向量。 5.如权利要求4所述的方法， 其特征在于， 每个子空间投影层中并行堆叠多个不同的子 空间， 将所述特 征拼接向量输入所述子空间投影层进行 特征交互， 包括： 将正交投影矩阵进行分解， 得到分解向量； 对所述分解向量增 加偏置并使用激活函数， 得到投影后的向量； 将所有不同的子空间投影向量进行拼接， 得到所述子空间投影层的输出， 其中， 所述将正交 投影矩阵进行分解， 表示 为： P＝PdPc权　利　要　求　书 1/3 页 2 CN 115495654 A 2Pd＝W(WTW)‑1/2 Pc＝(WTW)‑1/2WT 其中， Pd表示将投影向量映射回原始的d维空间中， Pc表示将x映射到c维的子空间中， W (WTW)‑1WT表示正交投影矩阵， W表示子空间基向量权 重矩阵， WTW的根的计算方式为： Yk+1＝0.5*Yk(3I‑ZkYK) Zk+1＝0.5*(3I‑ZkYK)Zk 其中， k代表迭代轮数， I表示单位矩阵， Yk表示上轮迭代产生的第一 临时计算结果， YK表 示本轮迭代产生的第 一临时计算结果， Y0＝A， A表示初始矩阵， Zk表示上轮迭代产生的第 二 临时结果， ZK表示本轮迭代产生的第二临时计算结果， Z0＝I， 所述投影后的向量表示 为： t＝Pcx 其中， x表示嵌入层向量或上一层子空间投影层的结果向量； 所述投影后的向量表示 为： u＝φ(t+b) 其中， φ表示激活函数， b表示偏置； 所述子空间投影层的输出表示 为： 其中， ui表示第i个子空间的投影向量。 6.如权利要求5所述的方法， 其特征在于， 所述深度层包括多层全连接层， 将所述子空 间投影层的输出输入所述深度层中进行 特征捕捉， 包括： 将所述子空间投影层的输出输入 全连接层， 得到中间结果； 使用激活函数对所述中间结果进行处 理， 得到用户点击当前物品的概 率。 7.如权利要求1所述的方法， 其特征在于， 所述根据 所述预测结果对物品候选集进行筛 选， 得到最终推荐结果， 包括： 去除所述物品候选集中用户已经点击或浏览过的物品； 根据所述预测结果， 使用桶排序算法在线性时间内对物品进行排序， 得到物品顺序； 按照所述物品顺序将多个相邻的同一类别的物品分散， 得到最终物品顺序； 按照所述 最终物品顺序在 浏览页面上展示物品， 得到最终推荐结果。 8.一种基于子空间投影神经网络的点击率预估装置， 其特征在于， 包括信 息采集模块、 特征处理模块、 概 率预测模块、 个性 化推荐模块， 其中， 所述信息采集模块， 用于采集用户数据； 所述特征处理模块， 用于对所述用户数据进行特征处理， 得到用户特征， 其中， 所述特 征处理包括归一 化处理、 离散化处理、 未知值处 理； 所述概率预测模块， 用于将所述用户特征输入训练好的深度神经网络模型中， 输出用 户点击物品概率的预测结果， 其中， 所述深度神经网络模 型由logloss损失函数进行训练生 成； 所述个性化推荐模块， 用于根据所述预测结果对物品候选集进行筛选， 得到最终推荐 结果。 9.如权利要求8所述的装置， 其特征在于， 所述根据 所述预测结果对物品候选集进行筛权　利　要　求　书 2/3 页 3 CN 115495654 A 3