(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210729041.9 (22)申请日 2022.06.24 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区八一路 299号 (72)发明人 张洪艳　黄琪　夏宇　张良培　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06V 20/13(2022.01) G06V 20/70(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于深度低秩网络的多时相光学遥感影像 云检测方法 (57)摘要 本发明提供一种基于深度低秩网络的多时 相遥感影像云检测方法， 利用多时相遥感影像的 时空谱低秩的物理特性， 以数据驱动的方式学习 重建晴空无云背景特征， 结合孪生差分、 非局部 注意力的思想分阶段构建特征提取网络， 分别提 取融合单景空谱 特征与多时相差分特征， 智能化 实现多时相遥感影像云覆盖检测， 并且成功克服 现有基于深度学习的多时相云检测算法匮乏且 可解释性弱的问题。 本发明将深度低秩网络模型 应用于多时相Landsat遥感影像云检测中， Landsat‑8遥感影像实验表明， 相较于现有遥感 影像云检测方法， 基于深度低秩网络的多时相遥 感影像云检测方法速度更快， 精度更高， 对于不 同场景、 不同云覆盖情况 具备较强的稳定性。 权利要求书3页 说明书7页 附图3页 CN 115131674 A 2022.09.30 CN 115131674 A 1.基于深度低秩网络的多时相遥感影 像云检测方法， 其特 征在于， 包括以下步骤： 步骤1， 提取原 始待检测影 像中云的空谱特 征； 步骤2， 提取多时相影 像的低秩背景 特征； 步骤3， 利用多时相云检测网络， 同时输入原始影像与步骤2中获取的背景特征， 采用共 享权重的孪生差 分结构， 结合 非局部注意力思想， 提取原始影像与背 景特征的变化信息， 获 得基于时相变化的云特 征， 即多时相变化特 征图； 步骤4， 融合步骤1中云的空谱特征和步骤3中基于时相变化的云特征进行云掩膜预测， 根据损失函数训练网络， 直至训练收敛， 网络所有参数达 到最优， 得到最终的预测图。 2.如权利要求1所述的基于深度低秩网络的多时相遥感影像云检测方法， 其特征在于： 步骤1中通过设计单景云检测网络提取原始待检测影像中云的空谱特征， 具体实现方式如 下； 将给定的原始单景影像记为 其中w和h表示影像的长宽， c表示波段的数 量， 单景云检测网络的输入是 输出是 f代表输出特征图的通道 维度； 单景云检测网络由收缩路径和扩张路径构成， 其中， 收缩路径由六个编码模块堆叠而 成， 编码模块分为左右两个分支， 左分支是特征提取分支， 基于两个3*3的卷积核进行2D卷 积来自动提取特征， 其中每个卷积层之后通常会连接一个ReLU激活函数对原 函数进行非线 性映射； 右分支是上下文保留分支， 利用1*1的2D卷积提取最重要的特征信息， 并采用恒等 映射操作加速梯度流的反向传播同时保留低水平的特征信息， 将所有特征进行聚合后， 最 后使用2*2的最大池化操作实现对 特征的降采样， 并且减少网络参数避免过拟合； 通过编码 器模块自动提取图像的多尺度特 征； 扩张路径由五个解码模块堆叠形成， 在解码模块中首先基于一个反卷积操作来逐步恢 复原始图像的大小， 随后采用两个卷积操作提取融合了低层次和高层次的特征信息， 并采 用快捷连接操作帮助网络保存和利用从早期层中学习到的上下文信息， 使得网络能够捕获 更多的云特征， 同时通过防止网络反向传播期间发生梯度消失现象来加速训练过程； 基于 解码模块， 网络能够 在稳定训练的同时融合多 级特征， 并逐步恢复原 始图像的大小。 3.如权利要求2所述的基于深度低秩网络的多时相遥感影像云检测方法， 其特征在于： 单景云检测网络的收缩分支和扩张分支之间的跳跃连接能够实现浅层特征与深层特征的 融合， 有助于生 成更准确的云掩模； 在编码模块和解码模块中， 核心的卷积操作和非线性激 活操作的具体表达如式(1)所示： 其中， Fin和Fout代表输入和输出 的特征图， K是卷积核， B是偏置矩阵， 符号*表示卷积操 作， max(0,*)表示非线性激活操作。 4.如权利要求1所述的基于深度低秩网络的多时相遥感影像云检测方法， 其特征在于： 步骤2中， 设计低秩特征提取模块提取多时相影像的低秩背 景特征， 低秩特征提取模块的输 入是多时相影像， 记为 其中w和h表示影像的长宽， c表示波段的数量， t表示时权　利　要　求　书 1/3 页 2 CN 115131674 A 2相的个数， 低秩特征提取模块的输出是与输入同样大小的低秩特征图， 即去除掉稀疏噪声 的低秩特 征背景图； 设计低秩特 征提取模块的处 理过程如下； 首先将多个2D卷积层堆叠在一起， 对通道维度进行8倍下采样， 即低秩特征提取模块的 秩下降比率为8， 并进行维度变换后得到矩阵 其中k为上限秩的大小； 然后， 使 用相同的卷积操作和 维度变换操作， 并进行矩阵转置操作得到 同样对原始矩 阵 经过1*1的卷积和维度变换后得到 通过 与 矩阵相乘， 获得矩阵 考虑到卷积操作的无界性， 在该低秩特征提取 模块中将 和 进行归一化分别得 到 和 有利于网络训练的稳定性； 最终， 低秩 特征可以通过矩阵 和 的乘积得到。 低秩特征经过矩阵维度变化后， 得到重建的低秩特征图 最终经过一个1*1卷积， 即可获得重建的晴空无云背景 特征 5.如权利要求4所述的基于深度低秩网络的多时相遥感影像云检测方法， 其特征在于： 为了保留v(i,j)作为基的语义含义， 使用l2范数对其进行归一化保留它的方向性， 如下式所 示： 其中， 将 ε设为10‑6避免被除数为0； 对于系数矩阵u(i,j)使用softmax函数进行归一化得 到每个基的对应概 率， 如下式所示： 6.如权利要求1所述的基于深度低秩网络的多时相遥感影像云检测方法， 其特征在于： 步骤3中， 将经过低秩特征提取模块获取的低秩背景特征图 与原始图像特征图 一起输入到基于孪生差分结构的多时相云检测网络中提取差异化特征信息， 即比较原始影像和低秩背景特征图的差别， 从变化信息中提取云掩膜， 其中w和h表示影像 的长宽， c表示波段的数量； 具体步骤如下： 原始图像和低秩背景特征分别经过权重共享的卷积层和池化层提取特征， 并对各层提 取的相同大小特征图进行差分操作； 然后， 从最深层的差分特征图开始基于反卷积块进行 上采样， 并将上采样后的特征图与上一层的差分特征图相连接， 从而利用多尺度的差分语 义特征逐步恢复原 始图像大小， 同时保留网络深层的语义特 征和浅层的细节信息； 在较深层的三个差分特征图后都引入了全局上下文模块GCB， 其作用是捕获长距离像 素点间的关系， 突破传 统卷积操作只有局部感受野的限制； 对于输入是C*H*W大小特征图， GCB模块的具体操作是首先采用1*1卷积和softmax函数来获取注意力权值， 然后执行注意 力池化来 获得C*1*1大小的全局上下文特征； 随后采用1x1卷积进行特征转换获得通道间依 赖， 为了降低参数量， 采用瓶颈形式进行特征变换， 在这个过程中增加了优化难度， 因此在权　利　要　求　书 2/3 页 3 CN 115131674 A 3