(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692193.6 (22)申请日 2022.06.17 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 谢卫莹　李艳林　张佳青　雷杰　 李云松　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 田文英　王品华 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01)G06V 20/13(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于模型压缩的多 模态遥感图像分类方法 (57)摘要 本发明提出的一种基于模型压缩的多模态 遥感图像分类方法， 主要解决现有高光谱图像分 类网络信息冗余、 分类精度低的技术问题。 实现 步骤为： 利用GS融合方式对高光谱图像HSI和 LiDAR图像进行多源数据融合； 生成训练集； 构建 一个基于二值量化的编码器 ‑解码器网络， 对网 络当中的激活输出和权重进行二值化操作； 利用 交叉熵损失函数对二值量化编码器 ‑解码器网络 进行训练； 对多模态遥感图像进行分类。 本发明 通过多源数据融合保证特征信息的完整性， 利用 二值量化权重和激活参数进行模 型压缩， 在减少 存储空间的同时提高多模态遥感图像的分类精 度。 权利要求书4页 说明书10页 附图2页 CN 114972885 A 2022.08.30 CN 114972885 A 1.一种基于模型压缩的多模态遥感图像分类方法， 其特征在于， 将包含光谱信息的高 光谱图像HSI和携带高程信息的LiDAR图像进 行多源数据融合， 构建一个基于二值量化的编 码器‑解码器网络； 该分类方法的步骤 包括如下： 步骤1， 对HSI和L iDAR图像进行多源数据融合： 步骤1.1， 选取一 张低空间分辨率的HSI和一张高空间分辨率的LiDAR图像， HSI和LiDAR 图像中包 含的物质类别相同， 空间大小相同， 而特 征信息不同； 步骤1.2， 通过局域均值化， 对LiDAR图像进行模糊操作， 得到接近HSI的像素数量的 LiDAR图像， 再将模糊处理后的LiDAR图像缩小到与HSI相同的大小， 得到一个模拟高分辨率 图像； 步骤1.3， 按照下式， 对 模拟高分辨 率图像和HSI的每一个波段做 施密特正交变换： 其中， GSN(i,j)表示施密特正交变 换后， 在HSI上位于(i,j)的坐标位置处元素产生的第 n个分量,n的取值范围是[1,N],N表示HS I的波段总数， Bn(i,j)表示在HS I的第n个波段上位 于(i,j)的坐标位置处像素点的灰度值， i和j的取值范 围分别为[1,W],[1,H]， W和H分别表 示HSI的宽和高， un表示HSI的第n个波段中所有像素点的灰度值的均值， 表示协方差操 作,GSf(i,j)表示施密特正 交变换后， 在HS I上位于(i,j)的坐标位置处产生的第f个分量， f 的取值范围为[1,N ‑1]； 步骤1.4， 通过直方图匹配方法， 调整LiDA R图像的均 值和方差， 得到均 值和方差的直方 图高度与正交GS变换后的第一分量的直方图高度近似一 致的调整后的L iDAR图像； 步骤1.5， 用调整后的LiDAR图像替换正交GS变换后的第一个分量后， 对替换后的所有 施密特正交变换的变量进行施密特正交逆变换， 得到在HSI的第n个波段上位于(i,j)的坐 标位置处像素点的灰度值,HSI的第n个波段上所有位置的像素点的灰度值构成HSI的第n个 波段的图像； 步骤2， 生成训练集： 从多模态融合图像中随机挑选占总像素点19％的像素点组成一个矩阵训练集， 该训练 集中包含多模态融合图像中所有的物质类别； 步骤3， 构建基于二 值量化的编码器 ‑解码器网络： 步骤3.1， 搭建一个由卷积层， 组归一 化层， 激活层依次串联组成的组归一 化模块： 将卷积层的输入通道数设置为N， N的取值与多模态融合图像的波段数相等， 输出通道 数为96， 卷积核大小设置为3 ×3， 卷积步长设置为1， 边界扩充值设置为1； 将组归一化层的 分组数量设置为r,r的取值与神经网络的衰减率大小的四倍相等， 将输出通道数设置为96， 激活层使用的激活函数为ReLU激活函数； 步骤3.2， 搭建一个由全局最大池化层， 第一全连接层， ReLU激活层， 第二全连接层依次 串联组成的第一子 分支， 将第一、 第二全连接层的卷积核 大小均设置为 1×1,卷积步长均设 置为1， ReLU激活层采用ReLU激活函数实现； 搭建一个由全局平均池化层， 第一全连接层， ReLU激活层， 第二全连接层依次串联组成 的第二子 分支， 将第二子 分支的第一、 第二全连接层的卷积核 大小均设置为 1×1,卷积步长权　利　要　求　书 1/4 页 2 CN 114972885 A 2均设置为1， ReLU激活层采用ReLU激活函数实现； 将第一子分支和第二子分支并联后， 再依次与 一个加法器、 sigmoid激活层串联组成一 个光谱特 征子分支， sigmo id激活层采用sigmo id激活函数实现； 将步骤3.1的组归一化模块的输出结果输入到一个乘法器中， 再将光谱特征子分支与 该乘法器依次串联组成一个光谱注意力分支； 步骤3.3， 对光谱注意力分支中的第一全连接层、 第二全连接层做二值量化操作， 得到 基于二值量化的光谱注意力分支， 该分支中的参数除第一、 第二全连接层中的权重参数、 激 活向量参数更新为二值量化后的参数外， 其 余参数与光谱注意力分支的参数设置相同； 步骤3.4， 将全局最大池化层和全局平均池化层进行级联后与卷积层、 ReLU激活层、 sigmoid激活层、 乘法器依次串 联组成一个空间特征子 分支， 将卷积层的卷积核 大小设置为 7×7， 卷积步长为设置为1， 边界扩充值设置为3， ReLU激活层采用ReLU激活函数实现， sigmoid激活层采用sigmo id激活函数实现； 将步骤3.1的组归一化模块的输出结果输入到一个乘法器中， 再将空间特征子分支与 该乘法器串联组成一个空间注意力分支； 步骤3.5， 采用与步骤3.3相同的二值量化操作， 对空间注意力分支中的卷积层的权重 参数和激活向量 参数进行二 值量化， 得到一个 基于二值量化的空间注意力分支； 步骤3.6， 将基于二值量化的光谱注意力分支、 基于二值量化的空间注意力分支进行级 联后， 组成基于二 值量化的联合注意力分支； 步骤3.7， 搭建一个由卷积层， ReLU激活层依次串联组成的下采样模块， 将卷积层的卷 积核大小设置为3 ×3， 卷积步长 设置为2， 扩充边界值为 1， ReLU激活层 采用ReLU激活函数实 现； 步骤3.8， 采用与步骤3.3相同的二值量化操作， 对下采样模块中卷积层的权重参数和 激活向量 参数进行二 值量化， 得到一个 基于二值量化的下采样模块； 步骤3.9， 将ConvLSTM层， 基于二值量化的联合注意力分支， 组归一化模块， ReLU激活层 依次串联组成全局卷积长短期注意力模块； 步骤3.10， 将组归一化模块， 第一全局卷积长短期注意力模块， 二值量化的第一下采样 模块， 第二全局卷积长 短期注意力模块， 二值量化的第二下采样模块， 第三全局卷积长 短期 注意力模块， 二值量化的第三下采样模块， 第四全局卷积长短期注意力模块依 次串联组成 一个二值量化的编码器子网络； 步骤3.11， 搭建一个由卷积层和最近上采样操作依次串联组成的上采样模块， 将卷积 核的大小设置为3 ×3， 最近邻上采样 操作的采样因子设置为2； 步骤3.12， 搭建一个由第一卷积层， 第二卷积层依次串联而成的头模块， 将第一卷积层 的卷积核大小设置为3 ×3， 输入通道数为128， 输出通道设置为N1， N1的取值与多模态融合图 像的波段数相等， 卷积步长为1， 第二卷积层的卷积核大小为1 ×1， 输出通道设置为N2， N2的 取值与多模态融合图像的波段数相等， 输出通道数为C， C的取值与训练集包含的物质类别 数相等， 卷积步长为1； 步骤3.13， 将第一上采样模块， 第二上采样模块， 第三上采样模块， 头模块依次串联组 成一个解码器子网络； 步骤3.14， 将二值量化的编码器子网络中第四全局卷积长短期注意力模块的输出， 经权　利　要　求　书 2/4 页 3 CN 114972885 A 3