(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211174369.5 (22)申请日 2022.09.26 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 赵科科　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06F 16/9535(2019.01) G06Q 30/06(2012.01) (54)发明名称 行为预测系统的训练方法及装置 (57)摘要 本说明书实施例提供一种行为预测系统的 训练方法及装置。 该方法包括： 获取第一训练样 本， 其包括第一用户做出预定行为的若干历史对 象， 以及针对各个历史对象的统计行为特征， 还 包括目标对象， 以及指示第一用户是否对目标对 象做出预定行为的行为标签； 将第一训练样本输 入包括注 意力网络和预测网络的行为预测系统； 其中， 利用注 意力网络确定各个历史对象与目标 对象之间的第一关联度， 以及确定各个历史对象 与其所对应统计行为特征之间的第二关联度， 并 基于第一关联度和第二关联度确定各个历史对 象对应的注 意力权重； 利用预测网络处理目标对 象、 各个历史对象及其对应的注意力权重， 得到 行为预测结果； 根据行为预测结果和行为标签， 训练行为预测系统。 权利要求书3页 说明书11页 附图3页 CN 115438787 A 2022.12.06 CN 115438787 A 1.一种行为预测系统的训练方法， 包括： 获取第一训练样本， 其中包括第一用户做出预定行为的若干历史对象， 以及针对其中 各个历史对 象的统计行为特征， 还包括 目标对象， 以及指示所述第一用户在所述若干历史 对象之后是否对所述目标对象做出 所述预定行为的行为标签； 将所述第一训练样本 输入包括注意力网络和预测网络的行为预测系统； 其中， 利用所述注意力网络确定所述各个历史对象与目标对象之间的第 一关联度， 以及确定 所述各个历史对象与其所对应统计行为特征之 间的第二关联度， 并基于所述第一关联度和 第二关联度， 确定所述各个历史对象对应的注意力权 重； 利用所述预测网络处理所述目标对象、 所述各个历史对象及其对应的注意力权重， 得 到行为预测结果； 根据所述行为预测结果和行为标签， 训练所述行为预测系统。 2.根据权利要求1所述的方法， 其中， 所述第一训练样本包括历史行为矩阵， 所述历史 行为矩阵的第一维度对应于对象标识， 第二维度对应于统计行为特 征。 3.根据权利要求1所述的方法， 其中， 获取第一训练样本， 包括： 获取所述第一用户多次做出 所述预定行为的多条 行为记录； 对所述多条行为记录进行统计处理， 得到其中涉及的所述若干历史对象以及所述统计 行为特征。 4.根据权利要求1所述的方法， 其中， 所述行为预测系统还包括嵌入层， 所述方法还包 括： 利用所述嵌入层处 理所述第一训练样本中的各个对象的标识， 得到对应的嵌入向量； 其中， 确定所述各个历史对象与目标对象之间的第一关联度， 包括： 计算所述各个历史对象的嵌入向量与所述目标对象的嵌入向量之间的第 一相似度， 作 为所述第一关联度。 5.根据权利要求1或4所述的方法， 其中， 所述行为预测系统中还包括对象编码层和特 征编码层， 所述方法还 包括： 利用所述对象编码层处 理所述各个历史对象的嵌入向量， 得到对应的对象编码向量； 利用所述特 征编码层处 理所述统计行为特 征， 得到对应的特 征编码向量； 其中， 确定所述各个历史对象与其所对应统计行为特 征之间的第二关联度， 包括： 计算所述对象编码向量和特 征编码向量之间的第二相似度， 作为所述第二关联度。 6.根据权利要求5所述的方法， 其中， 所述统计行为特征包括对应多个统计项的多个统 计特征， 所述特征编 码层包括对应所述多个统计项的多个特征编码层； 其中， 利用所述特征 编码层处 理所述统计行为特 征， 得到对应的特 征编码向量， 包括： 利用所述多个特 征编码层对应处 理所述多个统计特 征， 得到多个特 征编码向量； 其中， 计算所述对象编码向量和特征编码向量之间的第二相似度， 作为所述第二关联 度， 包括： 分别计算所述对象编码向量和所述多个特征编码向量之间的多个第 二相似度， 作为多 个第二关联度。 7.根据权利要求1 ‑4和6中任一项所述的方法， 其中， 所述统计行为特征包括以下中的 至少一项： 行为次数， 行为时段、 对象类别。权　利　要　求　书 1/3 页 2 CN 115438787 A 28.根据权利要求1所述的方法， 其中， 所述统计行为特征包括行为时段， 所述预测网络 包括时段兴趣表征层、 时段兴趣交互层和预测层； 其中， 利用所述预测网络处理所述目标对 象、 所述各个历史对象及其对应的注意力权 重， 得到行为预测结果， 包括： 利用所述时段兴趣表征层， 针对具有相同行为时段的历史对象， 利用其对应的注意力 权重对其对应的嵌入向量进行加权求和， 得到该 行为时段 下的时段兴趣表征向量； 利用所述时段兴趣交互层， 处理各个行为时段下的时段兴趣表征向量， 得到第一综合 兴趣表征向量； 利用所述预测层， 处理所述第一综合兴趣表征向量和所述目标对象的嵌入向量， 得到 所述行为预测结果。 9.根据权利要求8所述的方法， 其中， 所述行为时段的获取包括： 针对所述各个历史对象， 获取所述第 一用户在预定时长 内对其若干次做出所述预定行 为的若干行为时刻； 确定所述若干行为 时刻中的末次行为 时刻在所述预定时长 中所属的时长子区间， 并将 该时长子区间的区间序号作为对应的行为时段， 归 入所述统计行为特 征。 10.根据权利要求8所述的方法， 其中， 所述时段兴趣交互层实现为时序网络， 其中， 利 用所述时段兴趣交互层， 处理各个行为时段下 的时段兴趣表征向量， 得到第一综合兴趣表 征向量， 包括： 将所述各个行为 时段下的时段兴趣表征向量依次作为所述 时序网络的输入， 得到所述 所述第一综合兴趣表征向量。 11.根据权利要求8所述的方法， 其中， 利用所述预测层， 处理所述第 一综合兴趣表征向 量和所述目标对象的嵌入向量， 得到所述行为预测结果， 包括： 利用所述预测层， 对所述第 一综合兴趣表征向量和所述目标对象的嵌入向量进行融合 处理， 得到融合向量， 并对所述融合向量进行线性变换和/或非线性变换处理， 得到所述行 为预测结果。 12.根据权利要求1 1所述的方法， 其中， 所述融合处 理包括拼接、 求和、 或对位相乘。 13.根据权利要求1所述的方法， 其中， 所述统计行为特征包括对象类别， 所述预测网络 包括类别兴趣表征层、 类别兴趣交互层和预测层； 其中， 利用所述预测网络处理所述目标对 象、 所述各个历史对象及其对应的注意力权 重， 得到行为预测结果， 包括： 利用所述类别兴趣表征层， 针对具有相同对象类别的历史对象， 利用其对应的注意力 权重对其对应的嵌入向量进行加权求和， 得到该对象类别下的类别兴趣表征向量； 利用所述类别兴趣交互层， 处理各个对象类别下的类别兴趣表征向量， 得到第二综合 兴趣表征向量； 利用所述预测层， 处理所述第二综合兴趣表征向量和所述目标对象的嵌入向量， 得到 所述行为预测结果。 14.根据权利要求13所述的方法， 其中， 利用所述预测层， 处理所述第二综合兴趣表征 向量和所述目标对象的嵌入向量， 得到所述行为预测结果， 包括： 利用所述预测层， 对所述第 二综合兴趣表征向量和所述目标对象的嵌入向量进行融合 处理， 得到融合向量， 并对所述融合向量进行线性变换和/或非线性变换处理， 得到所述行 为预测结果。权　利　要　求　书 2/3 页 3 CN 115438787 A 3