(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210719747.7 (22)申请日 2022.06.23 (71)申请人 苏州科技大 学 地址 215513 江苏省苏州市高新区滨河路 298号 申请人 江苏新希望科技有限公司 (72)发明人 奚雪峰　仇真　顾晨凯　崔志明　 胡伏原　左严　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 王玉国 (51)Int.Cl. G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 小样本图像分类系统及其方法 (57)摘要 本发明涉及一种小样本图像分类系统及方 法， 多分辨率模块， 学习不同分辨率图像的特征 嵌入， 为输入图像生成深度局部描述符学习不同 分辨率图像的特征嵌入， 每个查询图像和每个支 持类的分布都可在深度局部描述符的级别上表 示； 全局注意力模块， 放大跨维度接受区域， 捕获 全局维度的重要交互特征； 自适应融合模块， 联 合学习得到的权值向量将局部关系和全局关系 自适应地融合在一起， 采用非参数最近邻分类器 作为动态分类器； 自蒸馏模块， 将深层网络分类 器作为教师网络， 对共享第二层卷积模块权重的 浅层网络进行蒸馏。 卷积神经网络中使用多分辨 率学习的方法， 全局注意力机制融入自蒸馏方法 中， 解决小样本学习任务中图像空间冗余问题。 权利要求书3页 说明书9页 附图3页 CN 115100470 A 2022.09.23 CN 115100470 A 1.小样本图像分类系统， 其特征在于： 包含多分辨率模块(1)、 全局注意力模块(2)、 自 适应融合模块(3)以及自蒸馏模块(4)； 多分辨率模块(1)， 学习不同分辨率图像的特征嵌入， 为输入图像生成深度局部描述符 学习不同分辨率图像的特征嵌入， 每个查询图像和每个支持类的分布都可在深度局部描述 符的级别上表示； 全局注意力模块(2)， 放大跨维度接受区域， 捕获全局维度的重要交 互特征； 自适应融合模块(3)， 联合学习得到的权值向量将局部关系和全局关系自适应地融合 在一起， 采用非参数最近邻分类 器作为动态分类 器； 自蒸馏模块(4)， 将深层网络分类器作为教师网络， 对共享第 二层卷积模块权重的浅层 网络进行蒸馏。 2.根据权利要求1所述的小样本图像分类系统， 其特征在于： 多分辨率模块(1)， 采用多 尺度的体系结构和密集连接的方法构建多分辨率网络， 为生成具有高分辨率的新特征图作 为输入， 构建一个Regu lar‑conv层， 该层由一个bottleneck层和一个regu lar convolution 层组成， 每一层均包含一个批处理归一化层、 一个ReLU层和一个卷积层； 先利用Regular ‑ conv层在卷积过程中对图像特征以双线性插值的方式进 行上采样， 然后将得到的特征图通 过密集连接进行融合； 再将Regular ‑conv层中的regular  convolution的stride设为2， 构 建一个stride‑conv层， 将其 嵌入到带有下采样的融合块中， 再将得到的不同分辨率样 本数 据输入到网络中， 并且为输入图像生成深度局部描述符， 使每个查询图像和每个支持类的 分布均能在深度局部描述符的级别上表示。 3.根据权利要求1所述的小样本图像分类系统， 其特征在于： 全局注意力模块(2)， 采用 CBAM中的顺序通道 ‑空间注意机制， 重新设计通道注 意子模块与空间注 意子模块； 在通道注 意子模块中采用三维排列的方式保留三 维信息， 利用一个两层的多层感知器放大跨 维的通 道‑空间依赖关系； 在空间注意子模块中采用两个卷积层进行空间信息融合； 同时， 删除池 化以进一 步保留特性映射， 采用带有通道混洗的组卷积防止参数增 加。 4.根据权利要求1所述的小样本图像分类系统， 其特征在于： 自适应融合模块(3)的基 于多分辨率自蒸馏网络通过Conv  Block定义查询分布和支持类分布之间的联合非对称分 布度量， 同时考虑到不对称的局部关系和全局关系， 分别采用KL散度测度计算全局级关系 和I2C测度产生局部级关系， 并设计融合策略将局部 关系和全局关系自适应地融合在一起； 采用可学习的二维权值向量实现融合， 因KL散度表示不相似性而不是相似性， 采用散度的 负值来获得相似性。 5.根据权利要求1所述的小样本图像分类系统， 其特征在于： 自蒸馏模块(4)， 深度 学习 网络中绝大多数预测任务使用softmax层给大量标签分配概率分布； 根据目标卷积神经网 络的原始结构， 将原始网络分出一个浅层神经网络作为学生网络， 在训练期间深层 网络被 视为教师网络， 将注意力机制融入到自蒸馏学习中， 构建一个从深层到浅层的反馈连接， 通 过共享不同层次的注意力权重， 将不同层次网络提取到的注意力特征图送入分类器中， 分 别得到高维与低维预测的概率分布， 然后根据预测的概率分布将深层网络对浅层神经网络 进行蒸馏。 6.权利要求1所述的系统实现小样本图像分类方法， 其特 征在于： 包括以下步骤： 首先， 将原始网络分出一个浅层子网络来识别图像的低分辨率表示， 并且保持该原始权　利　要　求　书 1/3 页 2 CN 115100470 A 2网络识别高分辨 率图像特 征的能力； 然后， 在多分辨率网络中添加全局注意力机制， 用以减少信息损 失和放大全局 交互表 示； 接着， 对分出来的浅层子网络使用自蒸馏学习的方法， 将网络中更深层的知识压缩到 浅层子网络中， 用以提升 浅层网络的泛化能力； 最后， 将低分辨率网络中的粗粒度特征重用并融合到高分辨率网络当中， 用以提升模 型提取图像表征的能力。 7.根据权利要求6所述的小样本图像分类方法， 其特征在于： 由多分辨率模块(1)， 生成 具有不同分辨率的新特征图作为输入； 由全局注意力模块(2)， 放大跨维度接受区域， 捕获 全局维度的重要交互特征； 自适应融合模块(3)， 将局部 关系和全局关系自适应地融合在一 起； 由自蒸馏模块(4)， 促进连续层次之间的交互学习， 使模型在全局特征中提取图像的通 用特征， 提高模型的泛化能力。 8.根据权利要求6所述的小样本图像分类方法， 其特征在于： 多分辨率模块(1)， 学习不 同分辨率图像的特征嵌入， 空间低分辨率的特征映射送入浅层网络中避免卷积运算时所引 起的高压缩代价， 并将空间高分辨率的图像送入深层 网络中获得图像的高级映射； 浅层子 网络使用其对应的基本特征图获取的图像低分辨率特征， 并结合深层网络中第二层卷积模 块的高分辨 率特征进行分类任务； 全局注意力模块(2)， 设计全局注意力机制， 放大跨维度接受区域， 捕获全局 维度的重 要交互特征， 采用CBAM中的顺序通道 ‑空间注意机制， 并重新设计子模块； 给定输入特征图 F1∈RC×H×W， 中间状态F2和输出F3被定义为： 其中， Mc和Ms分别为通道注意图和空间注意图， 表示元素级乘法； 在通道注意子模块中， 使用三维排列的方式来保留三维信 息并利用一个两层的多层感 知器放大跨 维的通道 ‑空间依赖 关系； 为关注空间信息， 在空间注意子模块中使用两个卷积 层进行空间信息融合； 由于最大池化会减少 信息， 并产生负向贡献， 删除池化以进一步保留 特性映射； 采用带有通道混洗的组卷积防止参数的增 加； 在进行分组卷积时， 采用通道间稀疏连接使每个卷积操作只作用于所需的特征图， 做 有利于减小模型 的参数与计算量， 避免内存频繁交互所耗费的大量时间； 为保证组卷积之 后不同组的特征图之间的信息交流， 采用通道混洗的方法， 对组卷积之后的特征图进行重 新组合， 通道混洗的具体方式如下： 假定将 输入层分为k组， 总通道数为k ×n， 首先将维度拆 分为(k， n)两个维度， 然后将这两个维度转置变成(n， k)， 最后重新reshape成一个维度， 实 现均匀的通道混洗； 对于来自前一层的特征图， 利用通道混洗的方式将前一层特征图分为 多个不同的子组， 再将子组特 征输入到下一层的组中； 自适应融合模块(3)， 通过Conv  Block定义查询分布和支持类分布之间的联合非对称 分布度量， 同时考虑到不对称的局部关系和全局关系， 分别使用KL散度测度计算全局级关 系和I2C测度产生局部级关系， 设计融合策略将局部 关系和全局关系自适应地融合在一起； 采用可学习的二 维权值向量w＝[w1， w2]来实现融合； 由于KL散度 表示不相似性而不是相似权　利　要　求　书 2/3 页 3 CN 115100470 A 3