(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210716884.5 (22)申请日 2022.06.23 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 孙涛　苏孟丽　权志邦　张祥　 尹新艳　钟慎杰　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 16/583(2019.01) (54)发明名称 一种面向谣言检测的多层次图文融合方法 及系统 (57)摘要 本公开提供了一种面向谣言检测的多层次 图文融合方法及系统， 其属于人工智能技术领 域， 包括： 获取待进行谣言检测的数据信息， 其 中， 所述数据信息包括图像信息和文本信息； 基 于所述数据信息， 进行图像特征和文本特征的提 取； 将所述图像特征和文本特征输入 预先训练的 多层次图文融合网络模型中， 获得融合特征； 其 中， 所述多层次图文融合网络具体执行如下过 程： 将图像特征和文本特征拼接， 获得拼接后的 特征向量； 将所述特征向量分别输入全局编码 器、 注意力机制模块及双向长短时记忆网络获得 不同层次的特征向量， 将获得的不同层次的特征 向量进行融合， 获得融合特征； 将所述融合特征 输入预先训练的谣 言检测模型中， 获得数据信息 是否为谣言的判别结果。 权利要求书2页 说明书8页 附图3页 CN 115205640 A 2022.10.18 CN 115205640 A 1.一种面向谣言检测的多层次图文融合方法,其特 征在于， 包括： 获取待进行谣言检测的数据信息， 其中， 所述数据信息包括图像信息和文本信息； 基于所述数据信息， 进行图像特 征和文本特 征的提取； 将所述图像特征和文本特征输入预先训练 的多层次图文融合网络模型中， 获得融合特 征； 其中， 所述多层次图文融合网络具体执行如下过程： 将图像特征和文本特征拼接， 获得 拼接后的特征向量； 将所述特征向量分别输入全局编码器、 注意力机制模块及双向长短时 记忆网络获得不同层次的特征向量， 将获得 的不同层次的特征向量进行融合， 获得融合特 征； 将所述融合特征输入预先训练 的谣言检测模型中， 获得数据信 息是否为谣言的判别结 果。 2.如权利要求1所述的一种面向谣言检测的多层次图文融合方法,其特征在于， 所述注 意力机制模块具体处理流程为： 将拼接的图像特征和文本特征输入三个并联的相同尺度的 卷积层中进 行压缩， 分别获得第一特征向量、 第二特征向量及第三特征向量； 将所述第一特 征向量转置操作后与第二特征向量相乘， 将获得的结果经归一化层后与第三特征向量相 乘， 并将得到的结果与输入的拼接向量进行融合， 获得融合结果。 3.如权利要求1所述的一种面向谣言检测的多层次图文融合方法,其特征在于， 所述谣 言检测模型 具体采用softmax分类 器。 4.如权利要求1所述的一种面向谣言检测的多层次图文融合方法,其特征在于， 所述谣 言检测模型中引入了自适应机制， 并通过交叉熵定义所述谣言检测模型的损失函数。 5.如权利要求1所述的一种面向谣言检测的多层次图文融合方法,其特征在于， 所述将 获得的不同层次的特 征向量进行融合， 具体为： 将不同层次的特 征拼接为 一个特征向量。 6.如权利要求1所述的一种面向谣言检测的多层次图文融合方法,其特征在于， 所述图 像特征提取采用预 先训练的VG G‑19网络模型进行图像特 征的提取。 7.如权利要求1所述的一种面向谣言检测的多层次图文融合方法,其特征在于， 所述文 本特征采用预先训练的ALBERT模 型对文本信息进行特征提取， 通过所述ALBERT模 型中的若 干双向Transformer编码器获得文本特 征。 8.一种面向谣言检测的多层次图文融合系统， 其特 征在于， 包括： 数据获取单元， 其用于获取待进行谣言检测的数据信息， 其中， 所述数据信息包括图像 信息和文本信息； 特征提取单元， 其用于基于所述数据信息， 进行图像特 征和文本特 征的提取； 特征融合单元， 其用于将所述图像特征和文本特征输入预先训练 的多层次图文融合网 络模型中， 获得融合特征； 其中， 所述多层次图文融合网络具体执行如下过程： 将图像特征 和文本特征拼接， 获得拼接后的特征向量； 将所述特征向量分别输入全局 编码器、 注意力机 制模块及双向长短时记忆网络获得不同层次的特征向量， 将获得的不同层次的特征向量进 行融合， 获得融合特 征； 谣言判别单元， 其用于将所述融合特征输入预先训练的谣言检测模型中， 获得数据信 息是否为谣言的判别结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上运行的计算机程序， 其特征在 于， 所述处理器执行所述程序时实现如权利要求1 ‑7任一项所述的一种面向谣言检测的多权　利　要　求　书 1/2 页 2 CN 115205640 A 2层次图文融合方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被 处理器执行时实现如权利要求1 ‑7任一项所述的一种面向谣言检测的多层次图文融合方 法。权　利　要　求　书 2/2 页 3 CN 115205640 A 3