(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210842318.9 (22)申请日 2022.07.18 (65)同一申请的已公布的文献号 申请公布号 CN 114999637 A (43)申请公布日 2022.09.02 (73)专利权人 华东交通大 学 地址 330000 江西省南昌市经济技 术开发 区双港东大街808号 (72)发明人 李广丽　吴光庭　许广鑫　李传秀　 叶艺源　张红斌　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 黄攀 (51)Int.Cl. G16H 50/20(2018.01)G16H 30/00(2018.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) G06T 9/00(2006.01) (56)对比文件 CN 110739070 A,2020.01.31 CN 114241273 A,202 2.03.25 WO 2019216449 A1,2019.1 1.14 CN 111723635 A,2020.09.2 9 WO 2022006621 A1,202 2.01.13 审查员 裴孟丽 (54)发明名称 多角度编码与嵌入式互学习的病理图像诊 断方法与系统 (57)摘要 本发明提出一种多角度编码与嵌入式互学 习的病理图像诊断方法与系统， 该方法包括： 采 集病理组织图像数据集， 对病理组织图像数据集 进行预处理； 构建多角度编码 Transformer模型； 构建嵌入式学习框架， 基于嵌入式学习框架对第 一Transformer网络与第二Transformer网络执 行嵌入式互学习， 以分别得到输出的全局特征与 局部特征； 构建自动融合模块， 对全局特征与局 部特征进行自动交互融合以得到融合后的特征； 将融合后的特征输入至Softmax分类器， 以完成 病理组织图像的分类诊断。 本发 明可改善图像特 征的表征能力， 提升病理图像的分类准确率， 更 好地辅助医生的临床诊断工作。 权利要求书4页 说明书10页 附图3页 CN 114999637 B 2022.10.25 CN 114999637 B 1.一种多角度编码与嵌入式互学习的病理图像诊断方法， 其特征在于， 所述方法包括 如下步骤： 步骤一、 采集病理 组织图像数据集， 对所述病理 组织图像数据集进行 预处理； 步骤二、 构建多角度编码Transformer模型， 将经过预处理后的病理组织图像数据 集输 入至多角度编码Tr ansformer模型中进行处理以进行病理图像分类， 其中所述多角度编码 Transformer模型由包含动态位置编码的第一Transformer 网络与包含软注意力卷积运算 编码的第二Transformer网络构成， 所述第一Transformer网络用于捕获远程依赖以及全局 特征建模， 所述第二Transformer网络用于聚焦病理细节提取以及局部特 征建模； 步骤三、 构建嵌入式学习框架， 基于所述嵌入式学习框架对所述第一Transformer网络 与所述第二Transformer网络执行嵌入式互学习， 以分别得到第一Transformer网络输出的 全局特征以及第二Transformer网络 输出的局部特 征； 步骤四、 构建自动融合模块， 对第一Transformer网络输出的全局特征与第二 Transformer网络 输出的局部特 征进行自动交 互融合以得到融合后的特 征； 步骤五、 将所述融合后的特征输入至Softmax分类器， 以完成病理组织图像的分类诊 断； 在所述步骤二中， 所述包含动态位置编码的第一Transformer网络由第一Transformer 层、 第二Transformer层以及一个动态位置编码模块构成； 所述第一Transformer层与第二Transformer层用于通过多头注意力机制聚焦包示例 之间的交互， 以聚合不同包示例的病理组织图像中的形态信息； 所述动态位置编码模块由 三个不同的卷积核组成， 用于通过不同大小的卷积核对病理组织图像的空间信息进行编 码， 以获取 得到全局特 征； 所述通过不同大小的卷积核对病理组织图像的空间信 息进行编码， 以获取得到全局特 征的方法包括如下步骤： 将所述病理组织图像中分割得到的包示例经过线性投影后 生成块标记和类标记， 其中 所述块标记中带有包示例的病理信息， 对应的表达式为： 其中， 表示线性投影后的包示例对应的病理组织图像的信息， 表示第 个病理 组织图像中第 个块标记， ， 表示实数， 表示块标记维度； 将每个所述块标记转换为对应的二维图像， 通过不同大小的卷积核对二维图像的空间 信息进行动态编码； 通过动态位置编码动态感知不同的包示例之间的相互关系， 从而将不同的二维图像的 信息融合在一 起， 以建立 不同包示例之间的相关性分数， 对应的相关性分数表示 为： 其中， 表示相关性分数， 表示包示例， 表示包示例的相关性向量， 表示包示权　利　要　求　书 1/4 页 2 CN 114999637 B 2例的相关性向量的空间转置， 表示包示例的维度， 表示知识蒸馏的温度， 表示包 示例线性投影之后的其中一个分向量； 根据各所述相关性分数， 从全局视角刻画病理组织图像， 将所述类标记与所述块标记 进行连接， 以构造得到全局特 征； 在所述步骤二中， 软注意力卷积运 算编码的执 行方法包括如下步骤： 将所述病理组织图像中分割得到的包示例经过线性投影后 生成块标记和类标记， 其中 所述块标记中带有包示例的病理信息； 将每个所述块标记转换为对应的二维图像， 使用3D卷积核对二维图像的病理特征信 息 进行编码， 以得到特 征向量 ； 将所述特征向量 输入至软注意力引导 的多示例池化层中， 以获取得到经软注意力加 权后的特 征图在不同维度上的多样化特 征； 基于所述多样化特征， 继续捕捉所述病理组织图像中的关键视觉内容， 以得到经软注 意力加权的图像细节信息， 根据所述经 软注意力加权的图像细节信息构造得到局部特 征； 在所述步骤三中， 执 行嵌入式互学习的方法包括如下步骤： 将包示例输入至所述第一Transformer网络与所述第二Transformer网络中进行互学 习， 利用第一Transformer网络与第二Transformer网络之间的互补性以挖掘得到隐含的病 理知识； 其中， 所述隐含的病理知识用于准确描述病理组织图像， 以提升病理组织图像分类 的精度； 将挖掘得到的所述 隐含的病理知识， 转移到自动融合模块中执行特征融合操作， 并将 融合后的特 征反馈至第一Transformer网络与第二Transformer网络中； 在反馈了融合后的特征的第一Transformer网络、 反馈了融合后的特征的第二 Transformer网络以及所述自动融合模块之间建立在线嵌入式学习关系。 2.根据权利要求1所述的一种多角度编码与嵌入式互学习的病理图像诊断方法， 其特 征在于， 在所述 步骤一中， 对所述病理 组织图像数据集进行 预处理的方法包括如下步骤： 对所述病理 组织图像数据集进行 数字增强与归一 化操作； 将经过数字增强与归一化操作后的病理组织图像自动分割成多个不同的块区域， 并将 所述块区域记作为包示例； 对应的公式表达为： 其中， 表示第 个病理组织图像， 表示病理组织图像分割后的包示例， 表示病 理组织图像的序号， 表示包示例的个数。 3.根据权利要求1所述的一种多角度编码与嵌入式互学习的病理图像诊断方法， 其特 征在于， 将所述特征向量输入至软注意力引导的多示例池化层中， 以获取得到经软注意力 加权后的特 征图在不同维度上的多样化特 征的步骤中， 对应有如下公式： 权　利　要　求　书 2/4 页 3 CN 114999637 B 3