(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210873617.9 (22)申请日 2022.07.24 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 冯婕　周子昱　焦李成　张向荣　 尚荣华　李阳阳　王蓉芳　慕彩虹　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 田文英　王品华 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06T 11/00(2006.01) G06V 10/58(2022.01) G06V 20/10(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于光谱约束和残差注意力网络的高光谱 全色锐化方法 (57)摘要 本发明公开了一种基于光谱约束和残差注 意力网络的高光谱全色锐化方法， 主要解决现有 技术中无法完全利用全色图像空间信息， 锐化结 果失真严重的问题。 本发明的具体步骤如下： (1) 生成训练集； (2)对低分辨率高光谱图像块进行 空间对齐； (3)对单通道全色图像块进行光谱对 齐； (4)构建残差注意力网络； (5)使用含有光谱 约束的损失函数训练残差注意力网络； (6)使用 训练好的残差注意力网络对高光谱图像进行全 色锐化。 本发 明使了三维注意力模块和卷积模块 构建残差注 意力网络， 并使用光谱约束的损失函 数进行优化训练， 具有锐化结果失真低， 光谱和 空间信息保留性能平衡的优点。 权利要求书3页 说明书11页 附图3页 CN 115100075 A 2022.09.23 CN 115100075 A 1.一种基于光谱约束和残差注意力网络的高光谱全色锐化方法， 其特征在于， 采用深 度反投影网络对低分辨率高光谱图像块进 行语义信息提取和空间上采样对齐， 对单通道全 色图像与多通道高光谱图像进 行逐通道直方图匹配扩充通道和光谱对齐， 构建含有不同大 小卷积核的卷积模块和三 维注意力模块的残差注 意力网络， 构 造一个同时含有空间约束损 失和光谱约束项的损失函数作为网络总损失函数； 该高光谱全色锐化方法的步骤包括如 下： 步骤1.生成训练集： 步骤1.1， 将一张高光谱图像均分为 N个互不重 叠的标准高光谱图像块， N≥10； 步骤1.2， 根据Wald协议要求， 对每个标准 高光谱图像块中可见光波段逐像素求均值得 到均值图像， 将均值图像块作为该 标准高光谱图像块的单通道全色图像块； 步骤1.3， 对每 个标准高光谱图像下采样， 得到低分辨 率高光谱图像块； 步骤1.4， 将每个标准高光谱图像块与其对应的单通道全色图像块和低分辨率高光谱 图像块组成一个样本对， 取T各样本对组成训练集， 1≤T≤N； 步骤2.对低分辨 率高光谱图像块进行空间对齐： 采用深度反投影网络对低分辨率高光谱图像块进行语义信 息提取和空间上采样对齐， 得到T1个上采样高光谱图像块， T1＝T； 步骤3.对单通道全色图像块进行光谱 对齐： 对单通道全色图像块与多通道高光谱图像块进行逐通道直方图匹配， 得到光谱对齐后 的T2多通道全色图像块， T2＝T； 步骤4.构建残差注意力网络： 步骤4.1， 搭建一个用于抑制冗余信息的三维注意力模块， 其结构依次为： 通道注意力 子模块、 第一乘法器、 空间注意力子模块、 第二乘法器； 所述通道注意力子模块的结构依次为： 平均池化层、 最大池化层、 第一卷积层、 第一激 活函数层、 第二卷积层、 第二激活函数层； 将平均池化层和最大池化层的计算 维度均设置为 1， 将第一、 第二卷积层的卷积核大小均设置为1*1， 卷积核数量分别为16和64， 滑动步长均 为1， 填充宽度均为0； 第一激活函数层采用线性整流函数实现； 第二激活函数层采用 Sigmoid函数实现； 所述空间注意力子模块的结构依次为： 平均池化层、 最大池化层、 卷积层、 激活函数层； 将平均池化层和最大池化层的计算维度均设置为1； 卷积层的卷积核大小设置为3*3， 卷积 核数量为1； 激活函数层采用Sigmo id函数实现； 当数据输入到三维注意力模块处理时， 第 一乘法器将通道注意力 子模块的输出与原始 输入数据进行相乘操作的结果， 输入到空间注意力子模块， 空间注意力子模块的输出结果 与第一乘法器的相乘操作结果一起输入第二乘法器将空间注意力子模块进 行乘法运算， 得 到三维注意力模块的整体输出 数据； 步骤4.2， 搭建10个结构相同的卷积模块， 每个卷积模块的结构依次为： 卷积层、 批标准 化层、 激活函数层； 将第一、 第二、 第七、 第八卷积模块中卷积层的卷积核大小均设置为 1*1， 卷积核数量均为64， 滑动步长均为1， 填充宽度均为0； 将第三、 第四、 第五、 第六卷积模块卷 积层的卷积核大小均设置为3*3， 卷积核数量均为64， 滑动步长均为1， 填充宽度均为2； 将第 九、 第十卷积模块中卷积层的卷积核 大小均设置为 1*1， 卷积核 数量均为C， C为步骤1 中高光权　利　要　求　书 1/3 页 2 CN 115100075 A 2谱图像的通道数， 滑动步长均为 1， 填充宽度均为0； 第一至第十批标准化层均采用批标准化 函数实现； 第一至第十 激活函数层均采用线性整流 函数实现； 步骤4.3， 将第一卷积模块、 第二卷积模块、 三维注意力模块、 第三卷积模块、 第四卷积 模块、 第五卷积模块、 第六卷积模块、 第七卷积模块、 第八卷积模块、 第九卷积模块、 第十卷 积模块级联组成残差注意力网络； 当数据输入三维注意力模块、 第三、 第四、 第五、 第六卷积模块进行处理时， 使用残差运 算， 即将每个模块的输入特征数据和输出特征数据进 行像素级数值加合作为下一模块的输 入特征数据； 步骤5.训练残差注意力网络： 步骤5.1， 用T1个上采样高光谱图像块逐像素减去与其对应的T2个多通道全色图像块中 的像素值， 得到T3张残差图像， T1、 T2、 T3的取值对应相等； 步骤5.2， 将所有残差图像输入到残差注意力网络中， 通过网络逐级前传， 输出重构后 的图像； 步骤5.3， 用训练集样本对中的T4个标准高光谱图像块像逐素减去与其对应的T2个多通 道全色图像块中的像素值， 得到T5个目标图像， T4、 T2、 T5的取值对应相等； 步骤5.4， 构造一个同时含有空间约束损失和光谱约束项的损失函数作为网络总损失 函数， 利用Adam算法对网络总损失函数进行优化计算并迭代更新残差注意力网络参数， 得 到训练好的残差注意力网络； 所述网络总损失函数L( ·)如下： 其中， Θ为待训练的网络参数， LSAM(·)表示光谱约束损失函数,R和 分别表示重构图 像和目标图像， β 表 示两个损失项之间的权重参数， 其取值为[0,10]范围内的任意实数， LMSE (·)表示空间约束损失函数， K表示训练集样 本对的总数， Σ表 示求和操作， h表 示目标图像 的高， w表示 目标图像的宽， arccos( ·)表示反余弦操作， 和 分别表示第k张重构图像 中第p个像素对应的向量和第k'张目标图像中第q个像素对应的向量， k和k'的取值对应相 等， p和q的取值对应相等， < ·,·>表示内积操作， || ·||2表示取L2范数操作， c表示目标图 像的通道数， 和 分别表示第m张重构图像中第v个像素对应向量的第b个维度的值和 第m'张目标图像中第u个像素对应向量的第d个维度的值， m和m'的取值对应相等， v和u的取 值对应相等， b和d的取值对应相等； 步骤6.对高光谱图像进行全色锐化： 步骤6.1， 采用与步骤2和步骤3相同的方法， 对待全色锐化的高光谱图像进行处理， 得 到上采样高光谱图像和多通道全色图像；权　利　要　求　书 2/3 页 3 CN 115100075 A 3