(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210811491.2 (22)申请日 2022.07.11 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 关贝　赵亚晨　王永吉　石清磊　 曹崑　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 余长江 (51)Int.Cl. G16H 50/20(2018.01) G16H 30/40(2018.01) G06T 7/00(2017.01) G06T 7/11(2017.01)G06T 7/33(2017.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 3/40(2006.01) G06T 5/00(2006.01) (54)发明名称 基于多特征融合的乳腺癌新辅助化疗疗效 预测装置 (57)摘要 本发明公开了一种基于多特征融合的乳腺 癌新辅助化疗疗效预测装置， 包括： 图像获取模 块， 用于获取患者病灶区域的多模态乳腺影像； 图像预处理模块， 用于对每一模态乳腺影像进行 图像剪裁， 得到该模态乳腺影像的3D感兴趣区； 病灶区域分割模块， 用于根据各模态乳腺影像的 3D感兴趣区， 得到病灶区域； 疗效诊断模块， 用于 计算并拼接所述病灶区域的放射特征向量与各 3D感兴趣区的深度高级特征， 并基于各模态乳 腺 影像的拼接向量， 预测乳腺癌新辅助化疗的疗 效。 本发明能够高效无创地精准预测NAC疗效， 为 患者制定 个性化的精准治 疗方案。 权利要求书2页 说明书10页 附图5页 CN 114974575 A 2022.08.30 CN 114974575 A 1.一种基于多特 征融合的乳腺癌新辅助化疗 疗效预测装置， 包括： 图像获取模块， 用于获取患 者病灶区域的多模态乳腺影像， 其中， 所述多模态乳腺影像 的模态包括： T2W1模态、 DC E‑MRI模态和DW I模态； 图像预处理模块， 用于对每一模态乳腺影像进行图像剪裁， 得到该模态乳腺影像的3D 感兴趣区； 病灶区域分割模块， 用于根据各模态乳腺影 像的3D感兴趣区， 得到病灶区域； 疗效诊断模块， 用于计算并拼接所述病灶区域的放射特征向量与各3D感兴趣区的深度 高级特征， 并基于各模态乳腺影 像的拼接向量， 预测乳腺癌新辅助化疗的疗效。 2.如权利要求1所述的方法， 其特 征在于， 所述图像预处 理模块， 还用于： 基于异源图像 配准单元， 对所述多模态乳腺影 像进行异源图像 配准； 基于图像去噪单 元， 对所述多模态乳腺影 像进行图像去噪； 基于图像标准 化单元， 对所述多模态乳腺影 像进行图像标准 化； 基于图像增强单 元， 对所述多模态乳腺影 像进行图像增强。 3.如权利要求1所述的方法， 其特 征在于， 所述异源图像 配准单元， 用于： 使用基于标准互信息的刚体配准算法， 以所述DCE ‑MRI模态的图像为固定图像， 所述 T2W1模态和所述DWI模态的图像分别作为浮动图像进行刚体变换， 使得图中对应于空间同 一位置的点 一一对应。 4.如权利要求1所述的方法， 其特征在于， 所述图像去噪单元， 用于： 所述图像标准化单 元， 用于： 对所述T2W1模态、 所述DCE ‑MRI模态和所述DWI模态的图像， 分别采用Z ‑score方式进行 规范化。 将规范化后的图像中各像素点的灰度值范围归一 化。 5.如权利要求1所述的方法， 其特 征在于， 所述病灶区域分割模块， 用于： 构建基于3D ‑UNet的语义分割网络， 其中， 所述语义分割网络的结构为下采样路径的P 层三维卷积层与P ′次池化层、 上采样路径的Q层三 维卷积层与Q ′次池化层， 并将所述下采样 路径中的子模块更 换为带残差连接的子模块结构； 获取多模态样本乳腺影像， 将T2W1模态、 DCE ‑MRI模态和DWI模态的样本乳腺影像分别 作为所述语义分割网络的输入图像， 并以标记好的掩膜分割图像为训练目标训练所述语义 分割网络， 得到语义分割模型， 其中， 训练过程的损失函数Dice  Loss＝1 ‑Dice， ytrue表示实际分割标签， ypred表示预测输出图， s mooth表示平 滑项； 将T2W1模态、 DCE ‑MRI模态和DWI模态的乳腺影像分别作为所述语义分割模型的输入图 像， 以得到所述病灶区域。 6.如权利要求5所述的方法， 其特 征在于， 所述获取多模态样本 乳腺影像， 包括： 数据采集单元， 用于按照患 者为单位从数据库获取原始影像数据和对应的新辅助化疗 疗效类别标签， 所述 新辅助化疗 疗效类别标签包括： 病理完全缓解和病理未完全缓解； 数据选择单元， 用于根据疗效预测问题设定排除标准， 以选择数据， 其中， 所述排除标 准包括： 治疗前未实行双侧乳腺磁共振成像检查的患者、 未完成全周期新辅助化疗或因故 中止治疗的患者、 新辅助化疗后未进行手术 者、 术后病理评价 不完善和远处转移患者；权　利　要　求　书 1/2 页 2 CN 114974575 A 2数据标注单元， 用于经由专业医师在医学标注软件ITK ‑SNAP上的标注结果综合得到病 灶区域像素级标注； 数据整理单元， 用于以患者为单位进行数据整合， 将原始数据的DICOM文件格式转换为 NIfTI文件。 7.如权利要求1所述的方法， 其特 征在于， 所述疗效诊断模块， 用于： 初始放射特征提取单元， 用于选定需提取的放射特征， 并使用开源影像组学分析软件 对所述病灶区域进行放 射特征提取， 以得到初始放 射特征； 放射特征计算单元， 用于将所述初始放射特征的自编码器网络编码结果， 输入若干个 全连接层， 得到所述病灶区域内的放 射特征； 深度高级特征提取单元， 用于将每一模态乳腺影像的3D感兴趣区输入基于ResNet50的 卷积神经网络， 得到该模态的深度高级特 征； 向量拼接单元， 用于拼接所述放射特征与每一模态的深度高级特征， 得到相应模态乳 腺影像的拼接向量； 预测单元， 用于将各模态乳腺影像的拼接向量输入多实例学习 网络， 以使所述多实例 学习网络中的注意层为每一模态乳腺影像的拼接向量赋予权重， 所述多实例学习网络中的 分类器基于各模态乳腺影像的拼接向量的加权求和结果， 得到乳腺癌新辅助化疗的预测疗 效。 8.如权利要求7 所述的方法， 其特 征在于， 初始放 射特征提取单元， 用于： 针对样本病灶区域， 使用开源影像组学分析软件获取全部放射特征， 所述全部放射特 征包括： 形态学 特征、 一阶灰度直方图特 征、 二阶与高阶纹 理特征和基于滤波的特 征； 使用随机森林算法对各放 射特征进行重要性评分， 以确定需提取的放 射特征； 选定需提取的放 射特征。 9.如权利要求7 所述的方法， 其特 征在于， 所述深度高级特 征提取单元， 用于： 针对DCE‑MRI模态的乳腺影像， 取阶段一、 阶段三、 阶段五的图像分别作为卷积神经网 络的输入图像， 以得到DC E‑MRI模态的深度高级特 征； 和， 针对T2W1模态的乳腺影像， 将单通道的图像复制3份后， 分别作为卷积神经网络的输入 图像， 以得到T2W1模态的深度高级特 征； 和， 针对DWI模态的乳腺影像， 将单通道的图像复制3份后， 分别作为卷积神经网络的输入 图像， 以得到DW I模态的深度高级特 征。 10.如权利 要求7所述的方法， 其特征在于， 训练所述疗效预测模块的损失Loss＝LMSE+α LCE， 其中， LMSE表示训练所述自编码器网络的重建损失， LCE表述训练所述多实例学习网络的 预测损失， α 表示重建损失LMSE和预测损失LCE之间权衡的超参数。权　利　要　求　书 2/2 页 3 CN 114974575 A 3