(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210743073.4 (22)申请日 2022.06.27 (71)申请人 太原理工大 学 地址 030000 山西省太原市迎泽西大街79 号 (72)发明人 杨艳丽　刘进一　宿亚静　刘涛　 张杨　李琦钒　刘宇轩　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 专利代理师 何健雄 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/40(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于线图扩展的多模态脑超图注意力网络 的分类方法 (57)摘要 本发明公开了基于线图扩展的多模态脑超 图注意力网络的分类方法， 对结构和功能磁共振 影像进行预处理后， 对每位受试者的磁共振影像 进行结构和功能特征的提取； 进行特征融合后， 利用稀疏线性回归方法生 成多模态超图； 将多模 态超图关联矩 阵和多模态特征矩 阵输入超图注 意力网络， 利用线 图和超图的转换， 超 图的节点 和超边在神经网络每一层中交替， 实现同时结合 超节点和超边的特征来进行节点和边的嵌入学 习； 使用双层注意力机制为超边和节 点学习不同 的权重， 提取得到的特征最后经过一个softmax 操作， 并使用交叉熵损失函数进行分类。 本发明 应用于脑疾病诊断， 既保留了多模态超图中超边 的连通性， 又利用了边到边的关系传播信息， 有 助于超图的整体特 征学习。 权利要求书3页 说明书9页 附图2页 CN 115049629 A 2022.09.13 CN 115049629 A 1.基于线图扩展的多模态 脑超图注意力网络的分类方法， 其特 征在于， 包括以下步骤： 步骤S1： 对受试者的结构磁共振影像和功能磁共振影像进行预处理， 得到预处理后的 结构磁共 振影像和功能磁共 振影像； 步骤S2： 根据选定的标准化脑图谱， 对预处理后的结构磁共振影像和功能磁共振影像 进行脑区分割， 得到分割后的结构磁共 振影像和功能磁共 振影像； 步骤S3： 对分割后的结构磁共振影像进行结构特征提取， 得到结构特征矩阵； 对分割后 的功能磁共振影像进 行平均时间序列的提取， 构建功能脑网络， 进而提取功能特征， 得到功 能特征矩阵； 将功能特 征矩阵和结构特 征矩阵进行 特征融合， 得到融合后的多模态特 征； 步骤S4： 基于融合后的多模态特征， 利用稀疏线性回归方法， 构建多模态超图， 从而得 到数据集， 并将数据集划分为训练集和测试集， 所述数据集包括多模态超图关联矩阵、 超图 节点特征矩阵和节点标签； 步骤S5： 基于多模态超图关联矩阵， 使用行规范化和列规范化， 形成多模态线图邻接矩 阵； 步骤S6： 基于多模态线图邻接矩阵、 分层的双层注意力机制、 softmax函数、 交叉熵损失 函数， 利用线图扩展法， 构建多模态超图注意力网络模型， 采用训练集进行训练优化； 步骤S7： 采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。 2.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法， 其特 征在于， 步骤S1中， 预处理的具体步骤包括： 时间校正、 头动校正、 配准和空间标准化、 低频 滤波。 3.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法， 其特 征在于， 所述 步骤S3中， 对分割后的结构磁共 振影像进行结构特征提取， 具体步骤 包括： 首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正， 然后使用分水岭算 法对得到的图像进 行颅骨分离， 分割成皮质下白质和灰质体积结构； 将图像灰白质分离后， 根据生成的高精度灰质、 白质分割面计算各脑 区的皮质厚度及灰质体积， 从每幅图像中提 取的所有脑区特 征构成一个特 征向量， 进 而得到所有被试的脑区结构特 征矩阵； 对分割后的功能磁共 振影像进行平均时间序列的提取， 具体步骤 包括： 提取各脑区所包含的所有体素在不同时间点上的BOLD强度， 再进行算术平均得到脑区 的平均时间序列， 根据脑 区平均时间序列得到每个脑 区与其他脑 区的线性组合表示， 构建 出功能脑网络并计算功能脑网络的属性， 包括： 节点度、 超边度、 节 点效率， 进而得到每个被 试的功能特 征矩阵； 对功能和结构特 征矩阵进行 特征融合， 具体步骤 包括： 将得到的结构特 征和功能特 征进行连接。 4.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法， 其特 征在于， 所述 步骤S4中， 稀疏线性回归方法具体表示如下： 公式(1)中， sm表示其它被试与选定被试相关性的权重向量， xm表示选定的第m个被试的 多模态特征， Fm＝[x1， ...， xm‑1， 0， xm+1， ...， xM]包含除选定被试之外的所有被试的多模态特 征， ||·||2表示l1范数， λ表示控制模型稀疏的正则化参数， || ·||1表示l2范数， 根据xm， Fm权　利　要　求　书 1/3 页 2 CN 115049629 A 2可以得到sm， sm中非零元 素对应的被试即为与选 定被试有相关性的被试， 由此 得到超边； 多模态超图构建的具体步骤为： 根据权重向量sm， 稀疏表示权重矩阵S定义为S＝[s1， s2， ...， sm， ...， sM]T， 选定阈值θ， 大于阈值的表示有连通性， 小于阈值的表示没有连通性； 将相似度高的节点用一条超边连 接起来， 多模态超图关联矩阵定义 为： 公式(2)中， H(vi， ej)表示多模态超图关联矩阵中对应的元素， v∈V表示节点， e∈E表示 超边， θ表示阈值， S＝[s1， s2， ...， sm， ...， sM]T表示多模态稀疏超图的权重矩阵， Si， j表示节 点vi在超边ej上的权重； 超图节点特征矩阵表示被试大脑内各个脑区的结构特征和脑功能网络的特征集合， 表 示为X； 根据被试的标签、 站点、 性别， 将数据集划分为训练集和 测试集。 5.根据权利要求4所述的基于线图扩展的多模态脑超图注意力网络的分类方法， 其特 征在于， 所述步骤S5中， 具体步骤包括， 将超图的超边转化为线图的节点， 若两条超边共享 节点， 则将对应线图中的两个节点连接； 使用关联矩阵的行规范化和列规范化来形成多模 态线图的邻接矩阵， 具体公式表示如下： 公式(3)中， AL表示多模态线图的邻接矩阵加权形式， DE表示多模态超图的超边度矩阵， HT表示多模态超图关联矩阵的转置， DV表示多模态超图的超节点度矩阵， H表示多模态超图 关联矩阵。 6.根据权利要求5所述的基于线图扩展的多模态脑超图注意力网络的分类方法， 其特 征在于， 所述 步骤S6中， 具体包括： 超图注意力网络模型由两层注意力网络堆叠而成， 其中每一层根据节点层和超边层分 为两层； 节点层的注意力机制的具体表示如下： 公式(4)中， WV表示基于每层更新的超 边特征得到的节点的权重， σatt表示一个非线 性激 活函数， HXl‑1表示从第l ‑2层更新得到的超图节点特 征矩阵， 其中， 表示第l‑1层更新得到的M个被试的特征矩阵， xm表示选定的第m 个被试的多模态特 征， H表示多模态超图关联矩阵， 是注意力向量； 超边层的注意力机制的具体表示如下： 公式(5)中， WE表示基于每层更新的节点特征得到的超边的权重， σatt表示一个非线 性激 活函数， HTXl‑1表示从第l ‑2层更新得到的线图节点特 征矩阵， 其中， 表示第l‑1层更新得到的M个被试的特征矩阵， xm表示选 定的第m个 被试的脑区特 征， H表示超图关联矩阵， 是注意力向量； 利用线图扩展法构建多模态超图注意力网络模型， 具体步骤为： 第l‑1层的线图的节点特征矩阵来自于该层中已更新的超图节点特征， 在第l ‑1层中通权　利　要　求　书 2/3 页 3 CN 115049629 A 3