(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211086262.5 (22)申请日 2022.09.06 (71)申请人 河北远友科技有限公司 地址 050000 河北省石家庄市石家庄高新 区黄河大道13 6号2号楼5层5 07 申请人 石家庄铁大 科贤信息技 术有限公司 　 河北古牛科技服务有限公司 (72)发明人 王都　史远　王书海　赵晓亮　 王焕君　彭浩　 (74)专利代理 机构 成都帝鹏知识产权代理事务 所(普通合伙) 5126 5 专利代理师 罗旭 (51)Int.Cl. G06F 16/9535(2019.01) G06F 17/18(2006.01) (54)发明名称 一种序列推荐方法及设备 (57)摘要 本发明公开一种序列推荐 方法及设备， 进入 随机嵌入层， 将项目表示为分布， 将不确定性引 入到项目嵌入中， 获得随机嵌入； 进入自我注意 层， 建立自适应随机嵌入的自我注意变体； 进入 前馈网络和层输出， 前馈网络采用两个具有ELU 激活的点式完全 连接层， 在学习随机嵌入时引入 非线性； 采用层输出包括剩余连接、 层规范化和 脱落层； 进入预测层， 根据输 出嵌入预测下一项， 获得预测排名； 采用正则化项 来增强正样本项和 负样本项之间的距离， 正负BPR损失作为基准损 失来衡量排名预测误差； 采用排名做推荐。 本发 明能够有效提升序列推荐准确性和效率， 使 得推 荐技术更加合理有效。 权利要求书3页 说明书7页 附图1页 CN 115391660 A 2022.11.25 CN 115391660 A 1.一种序列推荐方法， 其特 征在于， 包括 步骤 S10,进入随机嵌入层， 将项目表示为分布， 将不确定性引入到项目嵌入中， 获得随机嵌 入； S20,进入Was serstein自我注意层， 建立自适应随机嵌入的自我注意变 体； S30,进入前馈 网络和层输出， 前馈 网络采用两个具有ELU激活的点式完全连接层， 在学 习随机嵌入时引入非线性； 采用层输出包括剩余连接、 层规范化和脱落层； S40,进入预测层， 根据输出嵌入预测下一项， 获得 预测排名； S50,采用正则化项来增 强正样本项和负样本项之间的距离， 正负BPR损失作为基准损 失来衡量 排名预测误差； S60， 采用排名做推荐。 2.根据权利要求1所述的一种序列推荐方法， 其特征在于， 使用多维椭圆高斯分布来表 示项目， 椭圆高斯分布由平均向量和协方差 向量控制， 其中协方差引入项目的潜在不确定 性； 对于所有 项目， 定义 一个平均嵌入表Mμ和协方差嵌入表MΣ； 由于均值和协方差识别不同的信号， 为均值和协方差引入单独的位置嵌入Pμ和PΣ， 获得 用户的均值和协方差序列嵌入， 计算公式为： 随机嵌入表示 为d‑维椭圆高斯分布 其中 并且 3.根据权利 要求1或2所述的一种序列推荐方法， 其特征在于， 在Wasserstein自我注意 层建立自适应随机嵌入的自我注意变 体时： 表示 作为自我关注的价 值观， 分别获取项目sk和项目st的随机嵌入； 采用Wasserstein距离来测量两个项目的随机嵌入之间的距离， 计算Akt表示项目sk和 项目st之间的注意 值， k≤t， 包括： 对于两个项目sk和st， 相应的随机嵌入是 和 其中： 其中， 分别表示对应的项目的不同距离值， Σ表示协方差距离， μ表 示平均值距离， K表示项目sk中第K个项目， T表示项目st中第T个项目； 将注意力权 重定义为2‑Wasserstein距离W2， 获得自我关注的注意 值： 4.根据权利要求3所述的一种序列推荐方法， 其特征在于， 建立自我项目在序列每个位权　利　要　求　书 1/3 页 2 CN 115391660 A 2置的输出嵌入是之前步骤中嵌入的加权和， 其中权重是归一化的注意值 获得自我关注的 注意值为： 其中， Ajt表示： 从第j个项目到第t个项目的注意力值。 5.根据权利要求4所述的一种序列推荐方法， 其特征在于， 由于每个项都表示为具有均 值和协方差的随机嵌入， 因此均值和协方差的聚合， 采用高斯分布的线性组合特性， 计算 公 式为： 其中 并且k≤t； 输出结果 和 共同形成新生成序列的随机嵌 入， 将历史序列信号与不确定性 意识聚合在一 起。 6.根据权利要求5所述的一种序列推荐方法， 其特征在于， 两个具有ELU激活的点式完 全连接层， 在学习随机嵌入时引入非线性： 其中 以及 表示学习参数； 采用剩余连接、 层规范化和脱落层， 层输出为： 如果堆叠更多层， Zμ和ZΣ作为下一个Was serstein自我注意层的输入。 7.根据权利要求1所述的一种序列推荐方法， 其特征在于， 进入预测层， 根据输出嵌入 预测下一项， 包括 步骤： 在序列的第t个位置的项目st， 计算第t+1位置上的下一个项目j的预测分数， 表示为两 个项目 和 的2‑Wasserstein距离： 其中 和 是给定序列(s1,s2,…,st)的表示, 和 是输入随机嵌入表Mμ和MΣ的的嵌入索引； 按升序排列分数来 生成排名前N的推荐列表。 8.根据权利要求1所述的一种序列推荐方法， 其特征在于， 正则化项来增强此类距离， 计算方法为：权　利　要　求　书 2/3 页 3 CN 115391660 A 3