(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210826242.0 (22)申请日 2022.07.14 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 康来　万珊珊　魏迎梅　韩贝贝　 申天睿　杨雨璇　冯素茹　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 陈俊好 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/42(2022.01) G06V 10/20(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于transformer的图像特征提取方法及系 统、 计算机设备 (57)摘要 本发明公开一种基于transformer的图像特 征提取方法及系统、 计算机设备， 该方法将特征 图先划分为大小相同的局部窗口， 每个局部窗口 都指代一块图像区域的信息， 通过局部窗口捷径 (LWS)实现局部窗口之间的交互、 使全局图像信 息相互交流， 为高分辨率transformer提取的特 征增加了多样化的全局图像信息。 本发明提取的 图像特征适用于高精度图像分类中， 使得分类结 果精度更高。 权利要求书2页 说明书7页 附图2页 CN 115205645 A 2022.10.18 CN 115205645 A 1.一种基于t ransformer的图像特 征提取方法， 其特 征在于， 包括以下步骤： 获取目标图像集； 所述目标图像集包括相机照片、 手机照片、 显微图像和红外成像图； 对所述目标图像集中的图像进行 预处理， 得到提取图像集； 将所述提取图像集输入训练好的特征提取模型中， 利用卷积神经网络对提取图像集中 的图像进行特征粗提取， 再利用增强高分辨率tr ansformer网络对粗提取特征进行特征交 互， 获得全局融合特 征； 所述增强高分辨率transformer网络包括局部窗口自注意力子模块和前馈子网络， 所 述局部窗口自注意力子模块和前馈子网络均添加有局部窗口捷径以实现局部窗口之间特 征向量交 互。 2.如权利要求1所述的图像特征提取方法， 其特征在于， 对所述目标图像集中的图像进 行预处理， 得到输入图像集， 包括： 对所述目标图像集中的图像的分辨 率进行缩放和归一 化， 得到输入图像集。 3.如权利要求1所述的图像特征提取方法， 其特征在于， 所述局部窗口捷径执行以下操 作： 将输入特 征图划分为M个互不重 叠局部窗口； 简化每个所述局部窗口 的表达； 利用结构化的高效线性层实现局部窗口之间的交 互； 恢复局部窗口 的维度信息得到交 互过的全局图像特 征。 4.如权利要求3所述的图像特征提取方法， 其特征在于， 简化每个所述局部窗口的表 达， 包括： 利用平均池化操作对局部窗口的大小进行简化， 用单个像素 表示第m个窗口 整体信息， Pm中第i个元 素计算方法如下： 式中， 为第m个局部窗口； 且 K为局部窗口 的大小； 将平均池化操作后的局部窗口连接起来， 实现输入特征XLW到局部窗口单像素多通道特 征 的转换： XLS＝Concat[P1,P2,…,PM] 式中， 代表简化后第m个局部窗口 的像素表达； 对所述单像素多通道特 征XLS进行简化， 得到单通道特 征 式中， σ 为ReLU激活函数； 为叠加在通道上的权 重。权　利　要　求　书 1/2 页 2 CN 115205645 A 25.如权利要求3所述的图像特征提取方法， 其特征在于， 利用结构化的高效线性层实现 局部窗口之间的交 互， 包括： 利用结构化的高效线性层实现局部窗口之间的交 互， XLP′＝Facdc(XLP,W)＝σ(ACD ′C‑1XLP) 式中， 为交互后的局部窗口单像素单通道特征； σ为ReLU激活函数； 且 A与D′都是含M个参数的对角矩阵， C是第二类离 散余弦变换矩阵， C中 元素均为实数且C是正交矩阵， C‑1＝CT。 6.如权利要求3所述的图像特征提取方法， 其特征在于， 恢 复局部窗口的维度信 息得到 交互过的全局图像特 征， 包括： 采用全连接层+ReLU激活函数的组合恢复局部窗口的通道信息， 得单像素多通道特征 XLS′， 式中， σ 为ReLU激活函数； 为叠加在通道上的权 重； 利用恒等映射恢复局部窗口 的大小信息， XLS′＝Concat[V1,V2,…VM] XLW′＝Concat[V1′,V′2,…,V′M] 式中 ， XL W′为输入特征经局部窗口捷径后获取的含全局信息的图像特征 ； Wones是元素数值全为1的矩阵； M为局部窗口 的数目。 7.一种基于t ransformer的图像特 征提取系统， 其特 征在于， 包括： 图像获取模块， 用于获取目标图像集； 所述目标图像集包括相机照片、 手机照片、 显微 图像和红外成像图； 预处理模块， 用于对所述目标图像集中的图像进行 预处理， 得到提取图像集； 特征提取模块， 用于将所述提取图像集输入训练好的特征提取模型中， 利用卷积神经 网络对提取图像集中的图像进行特征粗提取， 再利用增强高分辨率transformer网络对粗 提取特征进行特征交互， 获得全局融合特 征； 所述增强高分辨率transformer网络包括局部窗口自注意力子模块和前馈子网络， 所 述局部窗口自注意力子模块和前馈子网络均添加有局部窗口捷径以实现局部窗口之间特 征向量交 互。 8.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1～6中任一项所述方法的步骤。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1～6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115205645 A 3