(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210841554.9 (22)申请日 2022.07.18 (71)申请人 广东工业大 学 地址 510062 广东省广州市越秀区东 风东 路729号 (72)发明人 潘晴　彭心睿　田妮莉　 (74)专利代理 机构 广东广信君达律师事务所 44329 专利代理师 廖朗皓 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G16H 30/00(2018.01) (54)发明名称 基于改进型MobileNetV3 的新冠肺炎X-Ray 图像识别方法 (57)摘要 本发明公开了一种基于改进型MobileNetV 3 的新冠肺炎 X‑Ray图像识别方法， 包括： 获取待识 别X‑Ray图像， 将其输入到训练好的新冠肺炎图 像识别模型中， 得到 X‑Ray图像所属的类别； 所述 新冠肺炎图 像识别模型采 用轻量级网络 MobileNetV3 ‑small作为主干网络， 并构建加权 通道筛选模块， 基于注意力机制与加权式通道丢 弃方法， 实现对输入的特征图在通道上的特征增 强： 将加权通道筛选模块与主干网络进行结合， 加权通道筛选模块首先对来自MobileNetV3 ‑ small的输入特征图进行高维与低维通道特征权 重的提取， 并重新分配各特征通道的分数； 然后， 采取加权随机抽样的策略生成高维与低维特征 通道的掩膜， 将高维、 低维的权重融合， 并利用掩 膜对融合后的权重进行通道筛选； 最后， 将融合 后的权重赋给输入特 征图。 权利要求书3页 说明书7页 附图2页 CN 115410027 A 2022.11.29 CN 115410027 A 1.一种基于改进型Mobi leNetV3的新冠肺炎X ‑Ray图像识别方法， 其特 征在于， 包括： 获取待识别X ‑Ray图像， 将其输入到训练好的新冠肺炎图像识别模型中， 得到X ‑Ray图 像所属的类别； 所述新冠肺炎图像识别模型采用轻量级网络MobileNetV3 ‑small作为主干网络， 并构 建加权通道筛选模块， 基于注意力机制与加权式通道丢弃方法， 实现对输入的特征图在通 道上的特征增强： 将加权通道筛选模块与主干网络进行结合， 加权通道筛选模块首先对来 自MobileNetV3 ‑small的输入特征图进行高维与低维通道特征权重的提取， 并重新分配各 特征通道的分数； 然后， 采取加权随机抽样的策略生成高维与低维特征通道的掩膜， 将高 维、 低维的权重融合， 并利用掩膜对融合后的权重进行通道筛选； 最后， 将 融合后的权重赋 给输入特 征图。 2.根据权利要求1所述的基于改进型MobileNetV3 的新冠肺炎X ‑Ray图像识别方法， 其 特征在于， 所述新冠肺炎图像识别模型， 是基于MobileNetV3 ‑small原有的框架， 在 MobileNetV3 ‑small中11层的bottleneck之后的1 ×1卷积层与平均池化层之间插入加权通 道筛选模块， 并对添加了加权通道筛 选模块的Mobi leNetV3‑small进行训练后得到 。 3.根据权利要求1所述的基于改进型MobileNetV3 的新冠肺炎X ‑Ray图像识别方法， 其 特征在于， 所述加权通道筛 选模块对输入特 征图的处 理过程包括： 通过全局平均池化 为输入特 征图的每 个通道分配初步的分数； 通过对包含C个通道的输入特征图， 首先进行降维操作， 将输入特征图的C个通道压缩 成C/r个通道， 获得低维通道权重； 对低维通道权重加入非线性后； 再通过升维操作， 将C/r 个通道再次拉伸为C个通道， 获得高维通道权 重； 其中r为压缩倍数； 采取加权随机抽样的策略生成通道的掩膜， 以进行通道的筛选， 每个通道被选择的概 率由其权 重决定； 根据降维所获取的低维通道权重与升维所获得的高维通道权重， 分别生成高维掩膜与 低维掩膜， 再通过拼接权重， 将高维特征与低维特征融合； 掩膜也以同样的方式进行拼接 后， 作用在权重上， 进而将权重赋给扩维后的特征图， 实现融合高、 低维度特征信息加权的 通道筛选， 达到特征增强的目的。 4.根据权利要求3所述的基于改进型MobileNetV3 的新冠肺炎X ‑Ray图像识别方法， 其 特征在于， 所述 通过全局平均池化 为输入特 征图的每 个通道分配初步的分数， 包括： 设输入特征图F∈RH×W×C， 输出的分数S∈RC， 其中R表示实数域； 全局平均池化操作可描 述为公式： 式中H为特征图长度， W为特征图宽度， C为通道 数量， SC为第C个通道的分数， FC为输入特 征图的第C个通道特 征图， Fc(i,j)指的是第C个通道特 征图中第i行第j列的像素值。 5.根据权利要求3所述的基于改进型MobileNetV3 的新冠肺炎X ‑Ray图像识别方法， 其 特征在于， 所述低维通道权 重、 高维通道权 重表示如下： 设降维后的通道权重为W1∈RC/r， 升维后的通道权重为W2∈RC， 降维与升维操作可描述 为： W1＝ δ(Conv1(S))权　利　要　求　书 1/3 页 2 CN 115410027 A 2W2＝Conv2(W1) 式中S为输入特征图的所有C个通道的分数集合， Conv1和Conv2为两个1x1卷积， Conv1 为降维操作， 将输入的通道数量C压缩r倍； δ为ReLU激活函数， Conv2是升维操作， 将大小为 C/r的通道数重新拉伸成C 。 6.根据权利要求3所述的基于改进型MobileNetV3 的新冠肺炎X ‑Ray图像识别方法， 其 特征在于， 所述采取加权随机抽样的策略生成通道的掩膜， 以进 行通道的筛选， 每个通道被 选择的概 率由其权 重决定， 包括： ①对输入特征图的C个通道， 分别生成一个随机数ui∈(0,1)， 计算每个通道的特征值 其中， wi表示低维通道权 重W1或高维通道权 重W2中， 第i个通道的权 重； ②设定通道保留比例α ∈(0,1)， 取M＝C ·α 个通道放入一个集合 中， 并计算出该集合中 所有通道的特 征值中的最小值 kmin； ③将集合外C ‑M个通道的特征值 分别与kmin进行比较， 当集合外的第j个通道的特征值kj 大于kmin时， 便将kj对应的通道放入集合， kmin对应的通道从集合中取出， 再重新计算集合中 的kmin， 此操作直至 C‑M个通道都进行了特 征值比较后结束； ④步骤③选出了特征值最大的前M个通道， 将这M个通道对应的掩膜设为1， 剩下的C ‑M 个通道对应的掩膜设为0， mask ＝1代表该通道被选择， mask ＝0代表该通道被忽略。 7.根据权利要求3所述的基于改进型MobileNetV3 的新冠肺炎X ‑Ray图像识别方法， 其 特征在于， 所述实现融合高、 低维度特 征信息加权的通道筛 选， 达到特征增强的目的， 包括： Mask＝concat(G(W1),G(W2)) W＝concat(W1,W2) Fad＝Conv3(Mask*W* concat(Conv1(F),F) ) G(W1)表示对输入特征图所有通道进行降维操作后(对应权重W1)， 求取掩膜而得到的低 维通道权重的掩膜集合； G(W2)表示对通道进行所述降维然后进行升维操作后求取掩膜而 得到的高维通道的掩膜集合； Mask表示拼接后的掩膜集合， W表示拼接后的权重； concat (·,·)为拼接操作； F代表输入特征图， concat(Conv1(F),F)是将降维后的输入特征图与 输入特征图拼接； Conv3为 1×1卷积， 用于将特征通道数调整到与输入加权通道筛选模块的 特征图通道数一致； Mask和W乘积后， mask＝0的通道对应的分数与0相乘后也为0， 此通道被 忽略； mask＝1的通道 对应分数在与1相乘后不变， 即此通道被保留； Fad为进行特征增强后输 出的特征图。 8.根据权利要求1所述的基于改进型MobileNetV3 的新冠肺炎X ‑Ray图像识别方法， 其 特征在于， 所述 新冠肺炎图像识别模型在训练时： 首先构建数据集， 数据集中包含正常状态、 普通肺炎和除新冠肺炎以外的病 毒性肺炎、 新冠肺炎的胸部图像共三类X ‑Ray图像； 将数据集划分为训练集和 测试集； 对训练集中的图像进行裁剪、 水平翻转、 标准化处理； 对测试集中的图像进行缩放、 裁 剪、 标准化处理； 采用迁移学习的方法， 在ImageNet数据集上对新冠肺炎图像识别模型进行初步训练， 采用微调的方式进行参数迁移；权　利　要　求　书 2/3 页 3 CN 115410027 A 3