(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211016391.7 (22)申请日 2022.08.24 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 沈志东　张浩杰　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 罗敏清 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/901(2019.01) G06F 16/2458(2019.01) G06N 5/02(2006.01) G06K 9/62(2022.01) (54)发明名称 基于历史行为的新闻推荐方法及系统 (57)摘要 本发明公开了一种基于历史行为的新闻推 荐方法即系统， 包括： 对用户点击过的新闻包含 的单词进行词嵌入并生成词向量， 对与单词相关 的实体构建子图并对其进行图嵌入； 对词向量进 行处理和预测获得新闻标题向量， 并对新闻标题 向量进行聚类且分配标签以计算新闻的主题向 量； 将新闻主题向量嵌入送入到长短期记忆网络 中进行学习并使用自注意力算法学习用户的主 题偏好； 对图嵌入进行处理得到实体嵌入并根据 实体嵌入使用图注意力机制挖掘用户的实体偏 好； 将得到的用户主题偏好 嵌入和实体偏好嵌入 与候选新闻比较， 得到用户点击候选新闻的概 率。 本发明使得用户在面对新闻平台大量新闻时 能够快速定位自己感兴趣的新闻的问题， 有效提 高了用户浏览新闻的体验。 权利要求书2页 说明书6页 附图1页 CN 115455281 A 2022.12.09 CN 115455281 A 1.一种基于历史行为的新闻推荐方法， 其特 征在于， 包括如下步骤： 步骤1， 对用户点击过的新闻包含的单词进行词嵌入 并生成词向量， 对与 单词相关的实 体构建子图并对其进行图嵌入； 步骤2， 对词向量进行处理和预测获得新闻标题向量， 联合训练词向量和新闻标题向量 从而构造语义空间， 在语义空间中对新闻标题向量进 行聚类并分配标签以计算新闻的主题 向量； 步骤3， 将步骤2获得的新闻主题向量嵌入送入到长短期记忆网络中进行学习， 并使用 自注意力算法学习用户的主题偏好； 步骤4， 对步骤1获得的图嵌入进行处理得到实体嵌入， 并将得到的实体嵌入作为输入 使用图注意力机制挖掘用户的实体偏好； 步骤5， 将步骤3得到的用户主题偏好嵌入和步骤4得到的实体偏好嵌入与候选新闻比 较， 得到用户点击候选新闻的概 率。 2.根据权利要求1所述的基于历史行为的新闻推荐方法， 其特 征在于， 步骤1具体包括： 步骤1.1、 对用户点击过的新闻包含的单词使用word2vec模型进行词嵌入并生成词向 量； 步骤1.2、 对用户点击过的新闻包 含的实体构建子图并使用Transe模型进行图嵌入。 3.根据权利要求1所述的基于历史行为的新闻推荐方法， 其特 征在于， 步骤2具体包括： 步骤2.1、 使用doc2vec模型对步骤1中的词向量进行处理预测获得新 闻标题向量， 联合 训练词向量和新闻标题向量， 在训练过程中使用反向传播和随机梯度下降来更新新闻标题 向量， 并使新闻标题向量靠近标题中单词的词向量， 远离标题外单词的词向量， 以产生语义 空间； 步骤2.2、 在语义空间中使用基于分层密度的带噪声应用空间聚类HDBSCAN寻找新 闻标 题的密集区域， 其中， 在寻找 新闻标题的密集区域前， 先采用统一流形逼近和投影降维对新 闻标题向量进行降维， 在降维空间中， 再利用HDBSCAN发现密集的新闻标题簇； 步骤2.3、 为每个密集的新闻标题簇分配不同的标签， 同一标签的新闻标题向量用于计 算主题向量， 由于新闻标题向量代表新闻标题的主题， 所以同一标签的新闻标题向量的质 心就是最能代 表该新闻标题密集区域的主题向量。 4.根据权利要求1所述的基于历史行为的新闻推荐方法， 其特 征在于， 步骤3具体包括： 步骤3.1、 将步骤2得到的主题向量嵌入送入长短期记忆网络进行学习， 通过对历史行 为矩阵进行非线性变换 得到自注意力的参数； 步骤3.2、 根据 得到的自注意力的参数计算相似矩阵， 再将相似矩阵与历史行为矩阵结 合计算得到用户主题偏好矩阵， 对用户主题偏好矩阵取平均值得到用户的主题偏好嵌入。 5.根据权利要求1所述的基于历史行为的新闻推荐方法， 其特征在于， 步骤4中包括如 下子步骤： 步骤4.1、 计算用户点击过的实体嵌入的平均值作为输入； 步骤4.2、 使用图注意力机制将用户点击过的实体在知识图谱中自动传播得到用户的 高阶实体偏好。 6.根据权利要求1所述的基于历史行为的新闻推荐方法， 其特 征在于， 步骤5具体包括： 将用户的主题和实体偏好嵌入与候选新闻的主题和实体嵌入做内积运算再经过权　利　要　求　书 1/2 页 2 CN 115455281 A 2sigmod函数 得到用户点击候选新闻的概 率： 其中， 是sigmod函数， u为用户的主题和实体偏好嵌入， r为候选新闻的主 题和实体嵌入。 7.一种根据权利要求1 ‑6任意一项所述的基于历史行为的新闻推荐方法的推荐系统， 其特征在于， 包括初始化模块、 主题嵌入模块、 用户主题偏好学习模块、 实体偏好学习模块 以及预测推荐模块； 其中 初始化模块， 其与主题嵌入模块连接， 初始化模块用于对用户点击过的新闻包含的单 词和实体进行嵌入， 以获得词向量和实体嵌入； 主题嵌入模块， 其分别与初始化模块和用户主题偏好学习模块连接， 用于接收初始化 模块中的词向量并将其进 行训练学习以获得新闻标题向量， 并将获得的新闻标题向量传递 给用户主题偏好学习模块； 用户主题偏好学习模块， 其分别与主题嵌入模块和预测推荐模块连接， 用于对主题嵌 入模块中的新闻标题向量进行学习获得用户的主题偏好， 并将用户主题偏好传递给预测推 荐模块； 实体偏好学习模块， 其分别与初始化模块和预测推荐模块连接， 用于接收初始化模块 中的实体嵌入， 并根据实体嵌入结合图注意力机制获得用户的实体偏好， 且将用户的实体 偏好传递给 预测推荐模块； 以及 预测推荐模块， 其用于接收用户主题偏好学习模块中的用户主题偏好以及实体偏好模 块中的用户实体偏好， 并将两者与候选新闻对比， 从而决定是否向用户推荐该新闻。权　利　要　求　书 2/2 页 3 CN 115455281 A 3