(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211219189.4 (22)申请日 2022.09.30 (71)申请人 江苏科技大学 地址 212008 江苏省镇江市梦溪路2号 (72)发明人 王卫东　胡克富　姜元昊　周枫　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 郭俊玲 (51)Int.Cl. G06F 16/9535(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Tran sformer编码器和位置编码的 推荐方法 (57)摘要 本发明涉及推荐 方法技术领域， 尤其涉及一 种基于Tran sformer编码器和位置编码的推荐方 法， 通过加入位置编码， 能够基于用户所有购买 历史行为做序列推荐， 考虑到用户兴趣的多样 性， 通过引入Tran sformer编码器， 编码器为FM和 DNN生成更好的上下文对齐向量， 编码器通过与 其他特征的线索对齐特征嵌入， 编码器生成的嵌 入有利于进一步的特征交互， 从而挖掘出特征之 间的相关性， 从而向用户提供更为准确更加符合 实际需求的推荐结果。 权利要求书2页 说明书6页 附图3页 CN 115481324 A 2022.12.16 CN 115481324 A 1.一种基于Transformer编码器和位置编码的推荐方法， 其特 征在于， 包括： S1、 通过嵌入层将数据集中的高维稀疏 特征映射成低维稠密向量； S2、 对嵌入的特 征加入位置编码， 作为标记用户行为序列的位置信息； S3、 引入Transformed中的Encode编码器对加入位置编码的嵌入特 征进行编码； S4、 将编码器的输出馈送到FM和DN N分别进行显示交 互和隐式特 征交互； S5、 将FM和DN N的中间输出映射到sigmo id激活函数， 进行目标 预测， 并输出推荐结果。 2.根据权利要求1所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 步骤S1之前， 所述方法还 包括： 将文件形式的数据集进行预处理， 将数据集中包含用户和项目的数值型特征xdense和类 别型特征xsparse分别处理， 其中类别特征的单值特征使用one ‑hot编码xsparse‑one＝[0,1,0 … 0,0]m， 多值特征使用multi ‑hot编码xsparse‑multi＝[1,1,0 …1,0]m， m代表编码维度； 对处理过的分为训练集、 验证集和 测试集。 3.根据权利要求1所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 步骤S5进一 步包括： 第一部分： 基于FM的推荐方法， 每一个特征引入一个具有低维与稠密特性的向量特征， 并使用特征间向量特征的内积来衡量特征间的相关性， 得到特征的一阶重要性和二阶相关 性； 第二部分： 基于DN N的推荐方法， 得到特 征之间的高阶交 互。 4.根据权利要求1所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 步骤S5进一 步包括： 将基于FM算法的结果和基于DNN的结果进行拼接， 放入输出层通过sigmoid激活函数拼 接输出； 使用交叉熵损失函数计算模型的损失值， 通过反向传播更新模型参数， 使用L2正则防止 过拟合； 基于预测输出， 挑选出其中评分最高的n个项目作为推荐结果。 5.根据权利要求1所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 步骤S2进一 步包括： 嵌入层的输出矩阵为[E1； E2； ...； EM]， 将位置编码加入到嵌入层的公式如下： E＝{ei+PEi|i∈n} 其中： ei表示用户第i个行为历史特征， PEi表示第i个行为发生的次序， 对于位置编码， 采用不同频率的正弦和余弦函数， 计算公式如下： 其中， pos代表该特征在序列中的位置， i代表嵌入维度， 位置编码的每个维度对应于正 弦波， 由于正弦和余弦函数具有周期性， 对于任何固定偏移量k,PEpos+k的位置都能表示成 PEpos的线性函数。 6.根据权利要求1所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 步骤S3进一 步包括：权　利　要　求　书 1/2 页 2 CN 115481324 A 2通过多头注 意力机制， 从输入向量集E映射到Q、 K、 三个向量， 相似性矩阵S由每 对q和k向量计算， 根据计算出的相似性矩阵S对v进行加权求和， 最后将不同注意力头的输 出合并为 最终输出； 残差连接， 并进行层归一 化； 通过前馈神经网络， 将特 征嵌入映射到更高维的嵌入空间， 返回到原 始维空间； 残差连接， 并进行层归一 化。 7.根据权利要求6所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 相似性矩阵S计算公式采用双线性 函数计算， 公式为： 其中， 从输入向量集E映射到Q、 K、 三个向量， 相似性矩阵由每对q和k向量计算， 为可学习的参数矩阵。 8.根据权利要求6所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 将不同注意力头的输出合并为最终输出 的合并函数采用最大池化的方法， 合并的具体 公式为： Mergemaxpool(O(1),O(2),…,O(H))＝Maxpo ol(O(1),O(2),…,O(H)) 其中， O表示 不同多头注意力的输出 结果。 9.根据权利要求1所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 步骤S4中的特 征交互为两个并行 结构， 共享编码器输出的结果。 10.根据权利要求1所述的基于Transformer编码器和位置编码的推荐方法， 其特征在 于， 所述推荐方法采用分布式的Spark计算。权　利　要　求　书 2/2 页 3 CN 115481324 A 3