(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210858212.8 (22)申请日 2022.07.20 (71)申请人 元码基因科技 （苏州） 有限公司 地址 215000 江苏省苏州市工业园区苏州 桑田街218号生物产业园2号楼402单 元 (72)发明人 杨家亮　姜彦　史晓丽　邱文静　 田埂　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张欣欣 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) (54)发明名称 模型训练、 微卫星状态预测方法、 电子设备 及存储介质 (57)摘要 本发明涉及计算机医学信息处理领域， 提供 一种模型训练、 微卫星状态预测方法、 电子设备 及存储介质， 以及可以对结直肠癌微卫星状态进 行预测的软件系统， 所述方法包括： 获取结直肠 癌患者含有肿瘤组织信息的H&E图像及临床信息 构造训练集； 将训练集输入本发 明所提出的基于 多模态融合技术的深度学习网络， 利用网络的 图 像特征提取子网络对H&E病理图像进行特征提 取； 同时利用临床特征提取子网络对临床数据提 取临床特征； 最终， 将图像特征和临床特征进行 融合并完成模型训练。 训练阶段， 基于微卫星状 态标签和预设的损失函数及本发明提出的神经 网络对模型进行训练， 得到微卫星状态预测模 型。 在预测阶段， 本发明能够准确、 快速地预测出 微卫星状态。 权利要求书2页 说明书11页 附图8页 CN 115131630 A 2022.09.30 CN 115131630 A 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获取训练集， 所述训练集包括多个样本及每一所述样本对应的标签， 每一所述样本包 括同一人的苏木精 ‑伊红染色H&E病理图像及临床数据， 每一所述标签对应每一所述样本的 真实微卫星状态； 将所述训练集输入预先建立的微卫星状态预测网络， 利用所述微卫星状态预测网络的 图像特征提取子网络对所述H &E病理图像进行 特征提取， 得到图像特 征； 利用所述微卫星状态预测网络的临床特征提取子网络对所述临床数据进行特征提取， 得到临床特 征； 将所述图像特征和所述临床特征输入所述微卫星状态预测网络的预测子网络， 得到预 测微卫星状态； 基于所述预测微卫星状态、 所述标签和预设的损失函数对所述微卫星状态预测网络进 行端到端训练， 得到训练后的微 卫星状态预测模型。 2.如权利要求1所述的模型训练方法， 其特征在于， 所述图像特征提取子网络包括多个 卷积层、 池化层和第一全连接层， 所述利用所述微卫星状态预测网络的图像特征提取子网 络对所述H &E病理图像进行 特征提取， 得到图像特 征的步骤 包括： 将所述H&E病理图像输入第一个卷积层， 利用多个依次连接的卷积层进行卷积处理， 得 到最后一个所述卷积层的输出 特征图； 将所述输出 特征图输入所述池化层， 得到特 征向量； 将所述特 征向量输入所述第一全连接层， 得到所述图像特 征。 3.如权利要求1所述的模型训练方法， 其特征在于， 所述临床数据包括多个高维临床数 据， 所述临床特征提取子网络包括多层感知器， 所述利用所述微卫星状态预测网络的临床 特征提取子网络对所述临床数据进行 特征提取， 得到临床特 征的步骤 包括： 利用随机森林算法将所述多个高维临床数据按照重要性权 重排序； 按照所述重要性权重从高到低的顺序， 选取预设数目的临床数据输入所述多层感知 器， 得到所述临床特 征。 4.如权利要求1所述的模型训练方法， 其特征在于， 所述预测子网络包括融合子网络和 分类子网络， 所述将所述图像特征和所述临床特征输入所述微卫星状态预测网络的预测子 网络， 得到预测微 卫星状态的步骤 包括： 将所述图像特征和所述临床特征均输入所述融合子网络进行多模态融合， 得到 融合特 征； 将所述融合特征输入所述分类子网络， 利用依次连接的第 二全连接层、 归一化层、 激活 层、 第三全连接层 及分类层进行处 理， 得到所述分类层输出的所述预测微 卫星状态。 5.如权利要求1所述的模型训练方法， 其特 征在于， 所述方法还 包括： 获取原始图像及所述原 始图像中肿瘤区域； 按照预设大小对所述肿瘤区域进行划分， 裁 剪出多个包 含肿瘤图像的子区域； 从所述多个子区域中筛选出满足预设条件的每一所述H&E病理图像:预设条件表征所 述子区域中的空白区域和模糊区域之和占所述子区域的比例小于预设比值， 所述模糊区域 为所述子区域中清晰度低于预设阈值的区域。 6.如权利要求1所述的模型训练方法， 其特 征在于， 所述损失函数为：权　利　要　求　书 1/2 页 2 CN 115131630 A 2其中， y和 分别表示同一所述样本的标签和预测微 卫星状态。 7.一种微 卫星状态预测方法， 其特 征在于， 所述方法包括： 获取待预测数据， 所述待预测数据包括同一人的H &E病理图像和临床数据； 将所述待预测数据输入利用权利要求1 ‑6任一项所述的方法训练后的微卫星状态预测 模型， 得到所述待预测数据的微 卫星状态。 8.一种模型训练装置， 其特 征在于， 所述装置包括： 训练集获取模块， 用于获取训练集， 所述训练集包括多个样本及每一所述样本对应的 标签， 每一所述样本包括同一人的苏木精 ‑伊红染色H&E病理 图像及临床数据， 每一所述标 签对应每一所述样本的真实微 卫星状态； 特征提取模块， 用于将所述训练集输入预先建立的微卫星状态预测网络， 利用所述微 卫星状态预测网络的图像特征提取子网络对所述H&E病理图像进行特征提取， 得到图像特 征； 所述特征提取模块， 还用于利用所述微卫星状态预测网络的临床特征提取子网络对所 述临床数据进行 特征提取， 得到临床特 征； 第一预测模块， 用于将所述图像特征和所述临床特征输入所述微卫星状态预测网络的 预测子网络， 得到预测微 卫星状态； 训练模块， 用于基于所述预测微卫星状态、 所述标签和预设的损 失函数对所述微卫星 状态预测网络进行端到端训练， 得到训练后的微 卫星状态预测模型。 9.一种微 卫星状态预测装置， 其特 征在于， 所述装置包括： 数据获取模块， 用于获取待预测数据， 所述待预测数据包括同一人的H&E病理图像和临 床数据； 第二预测模块， 用于将所述待预测数据输入利用权利要求1 ‑6任一项所述的方法训练 后的微卫星状态预测模型， 得到所述待预测数据的微 卫星状态。 10.一种电子设备， 其特征在于， 包括处理器和存储器， 所述存储器用于存储程序， 所述 处理器用于在执行所述程序时， 实现权利要求 1‑6中任一项 所述的模型训练方法， 和/或， 权 利要求7所述的微 卫星状态预测方法。 11.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 该计算机程序被 处理器执行时实现如权利要求1 ‑6中任一项所述的模型训练方法， 和/或， 权利要求7所述的 微卫星状态预测方法。权　利　要　求　书 2/2 页 3 CN 115131630 A 3