(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210722624.9 (22)申请日 2022.06.20 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 夏旻　张恩伟　王慧琴　翁理国　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 王艳秋 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 20/10(2022.01) (54)发明名称 一种跨维度注意力聚合的云雪辩识方法、 设 备及存储介质 (57)摘要 本发明公开了一种跨维度注意力聚合的云 雪辩识方法、 设备及存储介质， 涉及图像处理技 术领域， 获取训练数据， 然后构建跨维度特征注 意力聚合网络； 再训练跨维度特征注 意力聚合网 络， 对训练数据中的图像进行数据增强处理， 然 后将图像与对应的标签转化为张量， 然后输入到 跨维度特征注 意力聚合网络中训练； 最后使用训 练好的跨维度特征注意力聚合网络进行预测， 输 入一张彩色图片， 经过训练好的权重提取特征进 行编码解码操作后输出得到云和雪的掩膜图像； 能够有效减少复杂背景的干扰， 增强对云层边缘 以及薄云的检测能力， 精确区分出云雪区域， 避 免云雪相似的光谱特性对检测结果的影 响， 并且 在分割其他物体方面也具有不错的效果， 泛化能 力优秀。 权利要求书3页 说明书8页 附图4页 CN 115205624 A 2022.10.18 CN 115205624 A 1.一种跨维度注意力聚合的云雪辩识方法， 其特 征在于， 方法包括以下步骤： 获取训练数据， 所述训练数据中包括的背景、 云层和雪； 构建跨维度特征注意力聚合网络， 所述跨维度特征注意力聚合网络包括： 上下文注意 力聚合模块， 多尺度条状卷积模块， 深度特 征语义信息提取模块和甲壳虫模块； 训练跨维度特征注意力聚合网络， 对训练数据中的图像进行数据增强处理， 然后将图 像与对应的标签转 化为张量， 然后输入到跨维度特 征注意力聚合网络中训练； 使用训练好的跨维度特征注意力聚合网络进行预测， 输入一张彩色图片， 经过训练好 的权重提取特征进行编码解码 操作后输出 得到云和雪的掩膜图像。 2.根据权利要求1所述的一种跨维度注意力聚合的云雪辩识方法， 其特征在于， 所述上 下文注意力聚合模块用于聚合不同维度的特征图， 将浅层信息与深层信息进行融合， 并加 入注意力机制对其中的特征信息进行筛选， 将浅层特征图与深层特征图进 行拼接后经过一 个通道注意力模块， 提取其中的通道信息权重， 接着与浅层特征进 行乘积， 关注其中有意义 的通道信息， 然后再使用一个空间注意力模块对其中的空间信息进行划分， 最后将输出得 到的空间信息与深层特 征进行相加得到最后的输出； 整个模块的计算过程如下： Fout＝Ms(Mc(Cat(Fl,Fh))*Fl)+Up(Fh) 其中Fout∈RC×H×W表示最终输出， Ms(·)表示空间注意力操作， Mc(·)表示通道注意力操 作， Cat(·)表示通道维度上的拼接操作， Up( ·)表示上采样操作， Fh∈RC×H×W、 Fl∈Rc×h×w分 别表示高层特 征和低层特 征； 通道注意力模块用于提取其中的通道注意力权重， 首先输入特征图fi∈RC×H×W经过一个 自适应全局平均池化层得到C ×1×1的特征图， 与一 维全局平均池化的作用类似， 它的计算 公式如下： 之后采用多支路的形式， 分别对特征图在通道上进行放缩变换， 最后将两条支路分别 经过Sigmoid激活函数后进行相加融合再用一层1x1卷积进 行通道变换后都得到权重系数， 计算过程如下： f′i＝GAP(fi) fo＝Conv1×1(Sigmoid(M1(f′i))+Sigmoid(M2(f′i))) 其中GAP(·)表示自适应全局平均池化操作， Conv1×1(·)表示1x1卷积操作， M1， M2分别 表示两条支路操作； 空间注意力模块用于准确筛选在遥感图像的特征提取过程中产生的大量特征信 息， 其 中C， H， W分别表示输入特征图的通道数以及高宽， 输入Fi∈RC×H×W首先经过一个1 ×1卷积进 行通道数调整得到F'i∈RC×H×W， 接着分别经过平均池化层和最大池化层对信息进行筛选后 在通道维度上的拼接得到Fm∈RC×H×W， 然后将其重塑成C ×HW大小后经过Sigmoid操作得到 空间注意力权 重M， 最后将注意力权 重与F'i进行乘积 操作； 计算过程如下： F′i＝Conv1×1(Fi) Fm＝Cat(Max(F ′i),Avg(F′i)) M＝Sigmo id(Reshape(Co nv1×1(Fm)))权　利　要　求　书 1/3 页 2 CN 115205624 A 2Fo＝F′i*M+Fin 其中Conv1×1(·)表示1x1的卷积操作， Cat( ·)表示在通道维度上的拼接， Max( ·)， Avg (·)分别表示 最大池化和平均池化操作， Fo∈RC×H×W表示最终的输出 特征图。 3.根据权利要求1所述的一种跨维度注意力聚合的云雪辩识方法， 其特征在于， 所述多 尺度条状卷积模块用于提取目标的边缘信息与不同尺度的特征， 并通过 空洞卷积的方式增 大感受野， 让一些浅层特征也能获取到大的感受野信息； 多尺度条状卷积模块中使用1 ×N 和N×1的条状卷积来替代传 统的NxN卷积核， 为增大和感受野信息， 还加入了空洞 卷积， 空 洞卷积在保持原有参数两不变的同时扩大感受野， 为了减少模型 的参数量及计算量， 将输 入特征图进行通道平分后在进行多尺度卷积操作， 定义输入Fin∈RC×H×W， 那么经过通道平分 操作后输出 特征分别为F1∈RC/2×H×W和F2∈RC/2×H×W， 整个模块计算过程如下： F′1＝M1(M1(F1)) F′2＝M2(M2(F2)) Fo＝Cat(F′1,F′2)+Fi 其中M1(·)表示经过1 ×5和5×1条状卷积操作， M2(·)表示经过1 ×3和3×1条状卷积 操作， Cat( ·)表示通道维度上的拼接， Fo∈RC×H×W表示最终的输出 特征。 4.根据权利要求1所述的一种跨维度注意力聚合的云雪辩识方法， 其特征在于， 所述深 度特征语义信息提取模块： 本发明设计了深度特征语义信息提取模块用于提取深层特征中 的语义信息和类别信息用于指导低层特征的分类， 设输入特征图Fin∈RC×H×W大小为H×W， 通 道数为C， 深度特征语义信息提取模块后会经过一个自适应全局平均池化层得到C ×1×1大 小的特征图F'in∈RC×1×1， 之后通过split将其分为两部分F1和F2， 分别经过1x1卷积层后得 到F'1和F'2， 再进行相加融合后经过1 ×1卷积层后得到F ″2， 之后分为两路， 一路与F'1相加 融合后经过一层1 ×1卷积进行通道的调整后得到F1out， 另一路则再次经过一层1 ×1卷积进 行通道的调整后得到F2out， 最后将两者进行拼接即得到最终的权 重系数， 计算过程如下： F′in＝GAP(Fin) F1,F2＝Split(F′in) F′1＝Conv1×1(F1) F′2＝Conv1×1(F2) F″2＝Conv1×1((F′2+F′1)) F2out＝Conv1×1(F″2) F1out＝Conv1×1(F″2+F′1) Fout＝Cat(F1out,F2out) 其中GAP( ·)表示自适应全局平均池化操作， Split( ·)表示通道维度上的拆分， Conv1×1(·)表示1x1卷积 操作。 5.根据权利要求1所述的一种跨维度注意力聚合的云雪辩识方法， 其特征在于， 所述甲 壳虫模块加入 了特征增强与注意力机制， 设给定两个不同的特征图F1∈Rc×h×w和F2∈RC×H×W， 其中F1是低层特 征图， F2是高层语义特 征图， 整体过程表示 为： Fo＝Sigmoid(M(F1+F2))*F2+(1‑Sigmoid(M(F1+F2)))*F1 其中Fo∈RC×H×W表示最后的上采样输出结果， M( ·)表示中间特征增强与注意力机制过 程， 延续了将卷积与注意力相结合的思想， 分为两条支路， 其中一条支路借鉴了瓶颈模块的权　利　要　求　书 2/3 页 3 CN 115205624 A 3