(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210824312.9 (22)申请日 2022.07.14 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 万亮　邢兆虎　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 琪琛 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/80(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (54)发明名称 一种多模态MRI多病灶 分割方法 (57)摘要 本发明公开了一种多模态MRI多病灶分割方 法， 实现对多模态MRI多病灶的同时精准分割目 的。 本方法主要包括四个阶段， 多模态图像特征 提取阶段， 多模态特征融合阶段， 多模态特征筛 选阶段， 多类别分割阶段。 在多模态图像特征提 取阶段， 不同模态的图像特征被分别提取。 在多 模态特征融合阶段， 利用空间注 意力与模态注意 力机制在二个维度对提取的不同模态 图像特征 进行深度融合。 在多模态特征筛选阶段， 利用模 态敏感的门控机制对多模态特征进行选择， 筛选 更有效的特征， 提高特征表达能力。 多类别分割 阶段， 将不同阶段的多模态融合特征通过解码器 进行不同阶段的上采样操作还原图像尺寸， 并融 合筛选后的多模态特征， 最终通过输出分支进行 预测， 得到分割结果。 权利要求书1页 说明书6页 附图2页 CN 115131328 A 2022.09.30 CN 115131328 A 1.一种多模态MRI多病灶分割方法， 其特征在于多模态特征的融合与筛选， 包括如下步 骤： 步骤一， 多模态MRI提取； 通过相同结构但参数独立的深度神经网络对不同模态的脑部 MRI图像进行多阶段 特征提取； 步骤二， 特征融合； 将步骤一中得到的多模态特征在空间维度、 模态维度两个维度进行 特征融合， 其中空间维度使用多方向的自注意力机制， 获取 空间关系以融合空间特征， 并提 升计算效率； 模态方向使用跨注意力机制， 提取模态关系， 融合多模态特 征； 步骤三， 特征筛选； 利用步骤二中得到的融合特征构建模态敏感的特征选择门结构， 对 上层不同阶段 的多模态特征进行筛选， 选择更有效的特征输入到解码器， 提高特征表达能 力； 步骤四， 多类别分割； 利用解码器对深层融合特征进行不同阶段的上采样操作还原图 像尺寸， 并在其中结合经特征筛选模块后多模态增强特征， 提高特征编码能力， 最后 将解码 器获取的融合特 征通过输出分支预测， 得到分割结果。 2.根据权利要求1所述的多模态MRI多病灶分割方法， 其特征在于： 所述步骤一多模态 MRI提取， 改进了一个高效的神经网络编码器GlobalPoolformer， 对MRI编码过程中融入全 局信息， 对不同模态的脑部 MRI多次特 征提取、 下采样 操作， 提取不同尺度的深度特 征。 3.根据权利要求1所述的多模态MRI多病灶分割方法， 其特征在于： 所述步骤二的特征 融合， 通过 空间维度与模态维度的注 意力机制， 融合编 码器提取的多模态特征， 得到融合特 征Ffused， 具体方法包括： (1)在空间维度， 将编码器提取的多个模态的特征在通道维度进行拼接， 通过块嵌入层 编码为多个区块特征， 通过自注意力机制， 在空间维度计算每个特征区块之 间的注意力， 加 权融合， 得到空间维度的融合特 征； (2)在模态维度， 将编码器提取的多个模态 的特征分别通过块嵌入层编码为多个模态 的区块特征， 利用(1)中得到的融合特征， 与编码后不同模态的区块特征进行跨注意力运 算， 在模态维度计算融合特征区块与不同模态区块之间的注 意力， 加权融合， 得到模态维度 的融合特 征。 4.根据权利要求1所述的多模态MRI多病灶分割方法， 其特征在于， 所述步骤三特征筛 选， 利用高层次融合特征对低层次不同尺度的多模态特征进行筛选， 选择更有效的特征输 入到解码器， 提高特 征的复用效果， 具体方法包括： (1)将融合特 征Ffused通过带有可学习参数的卷积层降维到模态数量大小； (2)通过激活函数构建模态敏感特 征选择门， 按比例选择多模态特 征进行输出。权　利　要　求　书 1/1 页 2 CN 115131328 A 2一种多模 态MRI多病灶分割方 法 技术领域 [0001]本发明属于医疗影 像处理技术领域， 具体为涉及一种多模态MRI多病灶分割方法。 背景技术 [0002]多模态MRI多病灶分割研究： 脑肿瘤是世界上最常见的癌 症类型之一[2]， 其中胶质 瘤是最常见的恶性脑肿瘤， 具有不同的侵袭性， 脑膜瘤是成人最常见的原发性颅内肿瘤[3]。 具体来说， 对于胶质瘤， 常用的MRI序列有T1加权(T1)、 增强后T1加权(T1Gd)、 T2加权(T2)和 T2流体衰减反转恢复(T2 ‑FLAIR)图像； 它们在区分肿瘤、 瘤周水肿和肿瘤核心方面发挥着 不同的作用， 在临床上， 脑膜瘤在对比增强T1加权(T1Gd)和对比增强T2 ‑FLAIR(简称FLAIR ‑ C)MRI图像上 具有不同的特 征性表现。 [0003]临床上， 医生通过勾画脑部不同病灶的位置， 判断病情严重性， 进而采用不同的治 疗手段； 但在 对脑部病灶的分析、 诊断、 勾画的过程中， 极其费时费力， 因此通过计算机自动 对脑部病灶区域进 行分割， 分析体积显得尤为重要。 对于其他的器官， 通过计算机自动进 行 病灶的判断、 分割也有重要意 义。 [0004]医学图像分割技术研究： 医学 图像分割技术在医学 图像领域显示出巨大的潜力， 近年来， 各种优秀的医学图像算法层出不穷， 其核心在于如何构建更好的网络结构提取与 融合多模态医学图像特征， 以达到更好的分割效果。 目前较为流行的方式为 “U”形网络结 构[1]， 即通过卷积神经网络编 码器首先对3D医学图像进 行逐步下采样提取不同尺度的图像 特征， 再通过卷积神经网络解码 器对提取的图像特征进 行上采样， 还原图像尺 寸， 最终通过 输出分支得到分割结果。 近年来， Transformer[4]结构由于其出色的全局特征建模能力 在自 然语言处理领域渐渐流行， 但是其在医学图像分割 领域目前应用较少， 较为成熟 的工作有 利用卷积神经网络作为编码器， 利用Transformer结构建模全局特征[5]； Transformer结构 作为编码器[6]直接提取多 模态图像的全局信息， 都取得了较为理想的结果。 [0005]参考文献 [0006][1]Ronneberger,O.,Fi scher,P.,B rox,T.:U ‑net:Convolutional  networks for  biomedi‑cal image segmentation.In:International  Conference  on Medical Image  Computing and Computer ‑Assisted Interventi on.pp.234–241.Spri nger(2015). [0007][2]Bray,F.,Ferlay,J.,Soerjomataram,I.,Siegel,R.,Torre,L.,Jemal,A.: Global cancer statistics2018:Globocan  estimates  of incidence  and mortality   worldwide  for 36cancers  in 185countries.CA:A  Cancer Journal for Clinicians  68 (6),394–424(2018). [0008][3]Ostrom,Q.T.,Patil,N.,Cioffi,G.,Waite,K.,Kruchko,C.,Barnholtz ‑ Sloan,J.S.:Cbtrus  statistical  report:primary  brain and central nervous system  tumors diag‑nosed in the united states in 2013–2017.Neuro  Oncology  22(iv),1 – 96(2020). [0009][4]Vaswani,A.,Shazeer,N.,Parmar,N.,Uszkoreit,J.,Jones,L.,Gomez,A.N.,说　明　书 1/6 页 3 CN 115131328 A 3