(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210271617.1 (22)申请日 2022.03.18 (71)申请人 南京邮电大 学 地址 210023 江苏省南京市栖霞区文苑路9 号 (72)发明人 沈慧琳　林巧民　谢强　周斌　 (74)专利代理 机构 南京苏科专利代理有限责任 公司 32102 专利代理师 姚姣阳 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/30(2020.01) G06F 16/35(2019.01) G06N 3/04(2006.01) (54)发明名称 一种基于共注意的多模态融合机制检测虚 假信息的方法 (57)摘要 一种基于共注意的多模态融合机制检测虚 假信息的方法， 包括如下步骤， 步骤S1.构建提取 文本特征的BERT模型； 步骤S2.构建提取视觉特 征的R‑CNN模型； 步骤S3.构建融合文本与视觉 特 征的共注意转换器层Co ‑TRM模型； 步骤S4.将融 合后的特征向量输入到域分类器中， 将不同信息 的多模态特征映射到相同的特征空间， 将文本分 类为不同的事件， 并删除事件特殊的特征； 步骤 S5.将融合后的特征向量输入到虚假信息检测器 中， 利用潜在的多模态特征判断信息的真假。 该 方法利用共注 意机制， 通过使用随机像素采样机 制来增强视觉表现的鲁棒性， 改善多模态模型结 构， 分别加强文本特征和视觉特征的提取方法， 提高了不同模态之间的信息交流， 有利于提高虚 假信息检测的准确性。 权利要求书2页 说明书6页 附图2页 CN 114662586 A 2022.06.24 CN 114662586 A 1.一种基于共注意的多模态融合机制检测虚假信息的方法， 其特征在于， 包括如下步 骤， 步骤S1.构建提取文本特 征的BERT模型； 步骤S2.构建提取视 觉特征的R‑CNN模型； 步骤S3.构建融合文本与视 觉特征的共注意 转换器层Co ‑TRM模型； 步骤S4.将融合后的特征向量输入到域分类器中， 将不同信息的多模态特征映射到相 同的特征空间， 将文本分类为 不同的事 件， 并删除事 件特殊的特 征； 步骤S5.将融合后的特征向量输入到虚假信息检测器中， 利用潜在的多模态特征判断 信息的真假。 2.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法， 其 特征在于， 所述步骤S1中， 使用Transformer的双向编码器进行文本特征提取， BERT模型由 多层双向变压编码器构成， 每层均由自我注意和完全连接的神经元组成， 每一层编码器的 输出， 也是下一层编码器的输入， 编码器的输入为在一个标记序列中明确 地表示单个句 子 和一对句子， 单个句子为一个连续文本的任意跨度， 标记序列为输入标记序列， 为一个句子 或两个句子的组合； 使用WordPiece嵌入方法处理token词汇表， 用特殊的分类标记CLS表示每个序列的第 一个标记， 与此标记对应的最终隐藏状态作为分类任务的聚合序列表示， 一对句 子被打包 成一个单独的序列， 用令牌符号SEP分隔句子， 再在每个标记中添加一个学习的嵌入， 表明 所属的句子 。 3.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法， 其 特征在于， 所述 步骤S1中， 采用两个非监 督任务来预训练BERT模型， 包括两个任务， 任务一： 随机屏蔽输入令牌， 再根据上下文预测被屏蔽的令牌， 与掩码标记对应的最终 隐藏向量被输入到词汇表的输出softmax中， 训练数据生成器随机选择15％的令牌位置进 行预测， 若第i个令牌被选择， 则第i个令牌80％概率替换为MASK令牌， 10％的概率为随机令 牌， 10％的概 率令牌不变， 最后对具有交叉熵损失的原 始令牌进行 预测； 任务二： 预测下一个句子， 预先训练一个二值化的下一个句子的预测任务， 当为每个训 练前的例子选择句子A和B时， 50％的概率为句子A后面的下一个句子， 标记为IsNext， 50％ 的概率为语料库中的随机句子， 标记为 NotNext。 4.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法， 其 特征在于， 文本特征提取器的输入部分由Token  Embeddings、 Segment  Embeddings和 Position  Embeddings三部分组成， Token  Embeddings为字符对应的索引的词向量， Segment Embeddings为用0和1作为句子之间的划分， Position  Embeddings为表明位置信 息， 文本特征提取器的输入为信息中顺序排列的单词列表， 首先将单词嵌入到向量中， 将句 子中的第i个词的第k维词嵌入到向量 中， 表示为Ti∈Rk， 输入的句子为T＝[T0,T1,...,Tn]， 其中， n为句子中单词的数量， T0为CLS嵌入到句子的顶部， 使用预先训练的BERTbase， BERTbase 由12个编码器构成， 将BERTbase表示为Rb， 输入句子T到Rb， 获取输入句子对应的特征向量为 对每个单独的特征向量Tf进行平均池化， 平均池化后的文本特征记为 其中， dt为BERT模型获取的文本特征维数， 再将Rt输入到完全连接层FC， 最终输出权　利　要　求　书 1/2 页 2 CN 114662586 A 2为Rtf∈Rp， 与视觉特征具有相同的维数p， 可以表示为： Rtf＝σt(Wtf·Rt)， 其中， 为 文本特征提取器中完全连接层的权矩阵， σt为文本特征提取器中使用的LeakyRELU激活函 数。 5.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法， 其 特征在于， 所述步骤S2中， 通过在VisualGenome数据集上训练的Faster  R‑CNN提取视觉特 征， 视觉特征提取器通过检测预定义类别下 的区域来提取区域特征， 然后将最终分类器之 前的特征作为输出； 输入图像， 首先使用CNN主干网络提取特征， 然后沿空间维度 平化特征， 将平化后的特征记为Vf＝[V1,V2,...,Vk]∈Rd， 其中， k为特征像素的个数， CNN获得的图像特 征的维数用dv表示， 在CNN的最后一层添加一个完全连接层FC， 最终输出为Rvf＝σv(Wvf· RCNN)， 其中， Wvf∈Rdv·p为视觉特征提取器中全连接层的权矩阵， RCNN为CNN最后一层的输出， σv为视觉特征提取器中LeakyRELU激活函数。 6.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法， 其 特征在于， 所述步骤S 3中， 将通过BERT模型后的文本特征流输入若干个变压器块TRM和共注 意变压器层Co ‑TRM， 将视觉特征输入到共注意变压器层Co ‑TRM， 中间的视觉表示 和语 言表示 该模块计算query、 key和value矩阵。 每个通道的keys值和values值作为输入 被传递到另一个通道的多头注意 块。 7.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法， 其 特征在于， 所述步骤S4中， 域分类器为C(Rf； θc)， 其中， θc为域分类器的d参数集， C为域分类 器的映射函数； 根据输入的多模态特征Rf将文章分类到M个主题， 用Ye表示事件标签 集， 然后 用交叉熵函数定义事 件鉴别器的损失， 公式为 8.根据权利要求1所述的一种基于共注意的多模态融合机制检测虚假信息的方法， 其 特征在于， 所述步骤S5中， 虚假信息检测器包括两个具有softmax功能的全连接层， 虚假信 息检测器表示为D(Rf； θd)， 其中， θd为检测器的参数集， D为检测器的映射函数； 虚假信息检 测器的输出为y， y的大小表示该输入信息是虚假信息的概率， 其计算公式为yj＝D(E(pj； θe)； θd)； 用Y表示虚假信息被标记为1即yj＝1， 真实信息被标记为0即yj＝0的标签集合， 为 了计算分类的损失， 采用交叉熵损失函数， 公式为 将分类损失最小化 为 权　利　要　求　书 2/2 页 3 CN 114662586 A 3