(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210893876.8 (22)申请日 2022.07.27 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 薛霄　于慧雪　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 韩帅 (51)Int.Cl. G06F 16/9536(2019.01) G06F 16/9535(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06Q 10/04(2012.01) G06Q 50/00(2012.01) (54)发明名称 一种基于异质图神经网络的众智主体转发 行为预测系统 (57)摘要 本发明提供一种基于异质图神经网络的众 智主体转发行为预测系统， 所述预测系统包括： 嵌入层根据用户信息、 发布信息、 转发信息建立 相关主题在内的异质图； 卷积神经网络CNN模块 通过异质图中用户和信息文本中的相关信息的 嵌入节点生成信息文本特征特征表 示； 异质图神 经网络GNN模块通过异质图中用户长期转发关注 的嵌入节点获取第一兴趣编码信息hvP； 注意力 机制LSTM模块通过异质图中用户短期转发关注 的嵌入节点获取第二兴趣编码信息Us； 整合预测 模块通过如下二分类模型对第一兴趣编码信息 和第二兴趣编码信息中的节点嵌入投影到具有 所需输出维度的向量空间预测预测用户对一个 未产生过转发行为在未来会产生转发行为判断； 该系统可以缓解数据稀疏性问题。 权利要求书3页 说明书11页 附图3页 CN 115168743 A 2022.10.11 CN 115168743 A 1.一种基于异质图神经网络的众智主体转发行为预测系统， 其特征在于： 所述预测系 统包括： 嵌入层根据用户信息、 发布信息、 转发信息建立相关主题在内的异质图； 卷积神经网络CNN模块通过异质图中用户和信息文本 中的相关信 息的嵌入节点生成信 息文本特 征特征表示； 即： U＝fc([B1； B2； B3； S]) 其中： u是用户节点的特征表示， fc是一个全连接层； S为结构特征； B1是用户自身的特征 属性、 B2是用户发送信息的特 征属性； B3是用户转发信息特 征属性； 异质图神经网络GNN模块通过异质图中用户长期转发关注的嵌入节点获取第 一兴趣编 码信息、 注意力机制LSTM模块通过异质图中用户短期转发关注的嵌入节点获取第二兴趣编码 信息Us； 整合预测模块通过如下二分类模型对第一兴趣编码信息和第二兴趣编码信息中的节 点嵌入投影到具有所需输出维度的向量空间预测预测用户对一个未产生过转发行为在未 来会产生 转发行为判断； 所述 二分类模型为： 其中： σ 为激活函数， Wo为权重矩阵。 为节点的最终嵌入表示， 即第一兴趣编码信息 。 2.根据权利要求1所述的一种基于异质图神经网络的众智主体转发行为预测系统， 其 特征在于： 所述异质图建立过程： 构建包含了用户、 信息自身特征， 以及用户 ‑用户交互作用、 用户 ‑信息交互作用的异构 网络G＝(V， E)， 节点V和边E均包含不同类型； 其网络模式为S＝(R， L)， 其中R是节点类型的 集合， L是边类型的集合； 其节点类型集合R＝(RU， RM， RZ)， 其中RU是用户类型， RM是信息类型， Rz是主题类型； 其边类型集合L＝(LUU， LUM， LZM)， 其中LUU是用户‑用户关系边类型， LUM是用户‑ 信息关系边类型， LZM是主题‑信息关系边类型； 所述G＝(V， E)网络构建方式如下： a)节点 即用户节点 集合； b)节点 即信息节点 集合； c)节点 即主题节点集合； d)边 用户‑用户关系集合， 本文选取用户关注关系网络作为该集 合； e)边 即用户‑信息关系集合， 本文选取用户历史转发行为构建连接 边作为该集 合。 若用户曾转发该 条信息， 则在集 合中加入该 条用户‑信息连接边； f)边 即主题‑信息关系集 合。 3.根据权利要求1所述的一种基于异质图神经网络的众智主体转发行为预测系统， 其 特征在于： 所述异质图神经网络GNN模块还包括元路径内部聚合层、 第一图注意力层、 第二 图注意力层和元路径问聚合层； 所述元路径内聚合层采用特殊的元路径实例编码器将异质图中用户长期转发关注的 嵌入节点特 征转换为单个向量；权　利　要　求　书 1/3 页 2 CN 115168743 A 2所述图注意力层通过如下公式将单个向量与目标节点相关的元路径实例进行拼接加 权求和； 其中： 为节点v在第k个注意力头上的元路径实例P(v， u)的归一化后的重要性； 给 定投影特征向量 和元路径集合 集合的元路径内部聚合即为目标 节点v∈V生成M个 针对特定元路径的向量表示， 记为 所述元路径间聚合层通过点向量的元素平均值对所有节点在特定元路径下的节点向 量进行转换揭示所有元路径组合的语义信息； 所述 点向量的元 素平均值 为： 其中： W和b为可 学习的参数； 所述第二图注意力层通过如下公式融合特定元路径下的节点输出第一兴趣编码信息 其中： q为针对节点 的参数化注意力向量； βP可以被解释为元路径Pi对节点的相对重要 性； 当计算出每个元路径 的βP， 就可以使用这个注意力系数对节点v的所有针对特定 元路径的向量进行加权求和。 4.根据权利要求1所述的一种基于异质图神经网络的众智主体转发行为预测系统， 其 特征在于： 所述注意力机制LSTM模块还包括转发内容上的注意力机制模型、 转发时序上的 注意力机制模型和全连接层； 所述转发内容上注意力机制模型是通过如下公式建立用户最近转发的信息对潜在的 转发用户u的不同影响力αj 其中： uj和u分别是用户u和最近与用户u有转发消息行为的用户的注意力值； vT表示注 意力向量； 所述转发内容上注意力机制模型是通过如下公式获得注意力权重和用户各自的特征 向量进行加权求和获得用户当前基于转发内容上的表示uc； 其中： uc是用户当前基于内容的兴趣表示， αj是影响力大小； 所述转发时序上的注意力机制模型通过所述用户当前基于转发内容上的表示uc与序列权　利　要　求　书 2/3 页 3 CN 115168743 A 3