(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210855044.7 (22)申请日 2022.07.19 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 刘浩然　李西峰　彭雷　谢永乐　 毕东杰　彭礼彪　汤沈杰　李贵森　 张萍　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 陈一鑫 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种针对肾小球免疫荧 光图像的分类系统 (57)摘要 该发明公开了一种针对 肾小球免疫荧光图 像的分类系统， 涉及医学图像处理领域。 针对当 前该项工作对人工的高度依赖和 高级病理医生 的普遍缺乏进一步加剧了基层医疗机构对肾活 检样本的诊断难度， 而应用辅助系统， 将能够显 著改善识别的效率和准确性。 本发 明荧光强度和 分布形态的分类准确率分别达到了90.48％和 90.87％。 从推断时间的角度来看， 系统在荧光强 度分类和分布形态分类中处理每张图像分别仅 需要13毫秒和12毫秒， 这比初级病理医生分别需 要的11.06秒和7.84秒以及独立的高级病理 医生 分别需要的17.14秒和18.26秒要快得多。 从 Kappa分数的角度看， 系统给出的结论与标签几 乎完全一致(Almost  perfect)， 与独立的高级病 理医生给出的结论高度的一致(Substantial   agreement， 对于荧光强度分类为0.6494， 对于分 布形态为0.7184)。 权利要求书2页 说明书11页 附图5页 CN 115359285 A 2022.11.18 CN 115359285 A 1.一种针对肾小球免疫荧光图像的分类系统， 该系统包括： 语义分割模块、 强度均衡模 块、 分类模块、 可视化模块； 将同一张肾小球免疫荧光图像分别输入语义分割模块和强度均衡模块， 进行处理后， 语义分割模块和强度均衡模块的输出再输入给分类模块， 分类结果通过可视化模块进 行可 视化； 所述语义分割 模块是进行荧光强度分类， 其作用是将肾小球免疫荧光图像中肾小球以 外的组织分割移除， 所述强度均衡模块是进行分布形态分类， 其作用是消除图像间的强度 差异； 分类模块结合语义分割模块和强度均衡模块的输出图像， 对两个图像进 行分类， 分类 完毕后进行 可视化； 所述分类模块采用层级特征融合注意力网络对输入图像进行分类， 所述层级特征融合 注意力网络包括图像依 次经过的： 特征提取模块、 层级特征融合注意力模块、 分类器， 分类 器输出分类结果； 所述特征提取模块包括： 第一到第六共6个卷积块， 第一到第四卷积块都 依次包括： 卷积层、 批标准化层、 最大池化层， 第一到第四卷积块中的卷积层的滤波器依次 增大， 第五、 第六卷积块 都依次包括： 最大池化层和卷积层； 第一到第四卷积块顺次连接， 第 二卷积块的输出连接第 五卷积块， 第三卷积块的输出连接第六卷积块； 第四到第六卷积块 的输出为特征提取模块的输出， 所以特征提取模块包括三个输出， 且这三个输出 的特征图 尺寸相同； 所述层级特征融合注意力模块包括： 拼接模块、 分支代表性特征图计算模块、 分支的重 要性计算模块、 特征融合注意力掩模计算模块、 哈达玛积模块； 所述拼接模块对 特征提取模 块的三个输出进行拼接后分为三路， 其中第一路输入分支代表性特征图计算模块， 第二路 输入分支的重要性计算模块， 分支代表性特征图计算模块和分支的重要性计算模块的输出 输入特征融合注意力掩模计算模块， 特征融合注 意力掩模计算模块与拼接模块的第三路一 起输入哈达 玛积模块， 哈达 玛积模块的输出为层级特 征融合注意力模块的输出。 2.如权利要求1所述的一种针对肾小球免疫荧光图像的分类系统， 其特征在于， 所述强 度均衡模块的处 理方法为： 步骤1： 初始化阳性像素列表 V， 迭代因子n ＝0； 步骤2： 设定目标强度水平k， 调节因子N， 阈值M， 常数α； 步骤3： 提取图像 中阳性像素的红、 黄、 蓝通道的值， 并将其中的最大值和最小值的平均 值添加至阳性像素列表 V； 阳性像素表示红、 黄、 蓝通道的值 不全为0的像素； 步骤4： 针对图像中的所有阳性像素重复执 行步骤3， 每执 行一次， 迭代因子n 递增1； 步骤5： 对阳性像素列表V降序排列， 并计算列表中第<2n/N>个至第<6n/N>个元素值的 总和Sum， 其中操作符< ·>表示向下 取整； 步骤6： 计算该图像的全局强度水平IF＝αSum/(<6n/N> ‑<2n/N>)， 并进一步； 计算图像 的强度水平调节系数k/IF； 步骤7： 将图像的强度 水平调节系数分别与像素的红、 黄、 蓝通道的值相乘， 若相乘后的 结果大于步骤2中设定的阈值M， 则将结果定为M； 步骤8： 针对图像中的所有像素重复执 行步骤7以得到强度均衡后的图像； 步骤9： 保存强度均衡后的图像。 3.如权利要求1所述的一种针对肾小球免疫荧光图像的分类系统， 其特征在于， 所述分权　利　要　求　书 1/2 页 2 CN 115359285 A 2类模块中特征提取模块的三个输出都依 次经过通道注意力模块和空间注意力模块后再作 为特征提取模块的三个输出； 所述通道注意力模块包括依 次经过的： 全局平均池化层和卷 积层， 将卷积层的输出与通道注意力模块的输入进行相乘后作为通道注意力模块的输出， 空间注意力模块包括依 次经过的： 跨通道池化层和哈达玛积模块， 跨通道池化层的输出特 征与输入特征同时输入进入哈达玛积模块， 哈达玛积模块的输出为空间注意力模块的输 出。 4.如权利要求1所述的一种针对肾小球免疫荧光图像的分类系统， 其特征在于， 所述分 类模块中分类 器为全局平均池化层和两层全连接层。 5.如权利要求1所述的一种针对肾小球免疫荧光图像的分类系统， 其特征在于， 所述层 级特征融合注意力模块中分支的重要性计算模块的处 理方法为： 步骤1： 计算第k个分支输出的第i个特 征图的重要性 其中GMP(·)表示全局最大池化操作， fik代表第k个分支输出的第i个特 征图； 步骤2： 计算每 个分支的重要性表示bk： 其中， C是每 个分支输出的通道数。 6.如权利要求5所述的一种针对肾小球免疫荧光图像的分类系统， 其特征在于， 所述层 级特征融合注意力模块中分支 代表性特征图计算模块的处 理方法为： 其中， Rk表示分支 代表性特征图。 7.如权利要求6所述的一种针对肾小球免疫荧光图像的分类系统， 其特征在于， 所述层 级特征融合注意力模块中特 征融合注意力掩 模计算模块的计算方法为： 其中， M表示特 征融合注意力掩 模。权　利　要　求　书 2/2 页 3 CN 115359285 A 3