(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210675121.0 (22)申请日 2022.06.15 (71)申请人 中科弘云科技 （北京） 有限公司 地址 100089 北京市海淀区海淀镇西大街 68号1幢二层204 (72)发明人 张小璐　曹连雨　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 秦溪 (51)Int.Cl. G06V 20/13(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/77(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多尺度注 意力机制的地物分类方法、 装 置、 电子设备及 介质 (57)摘要 本申请涉及图像处理的领域， 尤其是涉及一 种基于多尺度注意力机制的地物分类方法、 装 置、 电子设备及介质。 方法包括： 获取输入 图像； 将输入图像输入至深度卷积神经网络， 生成高级 语义特征和低级语义特征； 将所述高级语义特征 输入至空洞金字塔化模块， 生成特征图； 将所述 低级语义特征输入至第二双注 意力机制模块， 生 成特征图； 基于所述特征图和所述特征图生成预 测图像； 其中， 所述第二双注意力机制模块包括 第二空间注 意力模块和第二通道注 意力模块。 本 申请具有通过双注意力机制的第二双注意力机 制模块能够对充分提取低级语义特征中的特征 信息， 提升网络分割精度。 权利要求书2页 说明书11页 附图6页 CN 114913436 A 2022.08.16 CN 114913436 A 1.一种基于多尺度注意力机制的地物分类方法， 其特 征在于， 包括： 获取输入图像； 将输入图像输入至深度卷积神经网络， 生成高级语义特 征和低级语义特 征； 将所述高级语义特 征输入至空洞金字塔池化模块， 生成特 征图； 将所述低级语义特 征输入至第二双注意力机制模块， 生成特 征图； 基于所述特 征图和所述特 征图生成预测图像； 其中， 所述第二双注意力机制模块包括第二空间注意力模块和第二 通道注意力模块。 2.根据权利要求1所述的方法， 其特征在于， 将所述低级语义特征输入至第 二双注意力 机制模块， 生成特 征图， 包括： 将低级语义特 征进行1×1卷积后生成低级特 征图； 将低级特 征图进行1 ×1卷积生成特 征图； 将特征图输入至第二空间注意力模块， 通过第 二空间注意力模块对特征图经过3 ×3卷 积、 激活函数后生成特征图， 将特征图经过两个堆叠的3 ×3卷积、 激活函数后生成特征图； 将特征图经过三个堆叠的3 ×3卷积、 激活函数后生成特征图； 将特征图、 特征图、 特征图融 合后， 经激活函数、 1 ×1卷积生成特 征图； 将特征图经过全局池化层、 全连接层、 激活函数、 全连接层以及激活函数后， 生成特图； 将特征图、 特征图以及低级特 征图相乘后， 生成特 征图； 将特征图与低级特 征图相加， 融合 生成特征图。 3.根据权利要求1所述的方法， 其特征在于， 基于所述特征图和所述特征图生成预测图 像， 包括： 将特征图经过上采样后与特 征图融合， 生成特 征图； 将特征图经过3×3卷积， 生成特 征图； 将特征图输入至第三双注意力机制模块， 生成特 征图； 特征图经过上采样生成预测图像。 4.根据权利要求2所述的方法， 其特征在于， 将特征图输入至第三双注意力机制模块， 生成特征图， 包括： 将特征图经过1×1卷积后生成特 征图； 将特征图输入至第 三空间注意力模块， 通过第 三空间注意力模块对特征图输入分别经 过多个扩张率不同的3 ×3卷积进行卷积， 生成多个不同的特征图， 其中， 每个i与每个扩张 率对应； 将多个特 征图融合后、 经 过激活函数、 1 ×1卷积后生成特 征图； 将特征图输入至第三SEnet网络模型， 通过第三SEnet网络模型对特征图进行全局池 化、 全连接、 激活函数、 全连接后、 归一 化后， 生成特 征图； 将特征图、 特征图以及特 征图相乘， 生成特 征图； 将特征图与特 征图逐元素相加后， 生成特 征图。 5.根据权利要求1所述的方法， 其特征在于， 将所述高级语义特征输入至空洞金字塔池 化模块， 生成特 征图， 包括： 将高级语义特征输入至第一空间注意力 模块 （10） ， 通过第一空间注意力模块 （10） 对高 级语义特征进行1 ×1卷积、 3×3卷积、 1×7卷积、 7×1卷积、 最大值池化后， 生 成第一空间注 意力特征；权　利　要　求　书 1/2 页 2 CN 114913436 A 2将高级语义特征的输入至第一通道注意力 模块 （11） ， 通过第一通道注意力 模块 （11） 将 高级语义特征的维度降低到输入的  1/16， 然后经过  ReLu 激活后、 再通过一个全连接层升 回到原来的维度， 生成第一 通道注意力特 征； 基于高级语义特 征、 第一通道注意力特 征、 第一空间注意力特 征生成特 征图； 将特征图输入至金字塔池化模块， 生成特 征图。 6.一种基于多尺度注意力机制的地物分类装置， 其特 征在于， 包括： 获取模块， 用于获取输入图像； 特征提取模块， 用于将输入图像输入至深度卷积神经网络， 生成高级语义特征和低级 语义特征； 多尺度提取模块， 用于将所述高级语义特 征输入至空洞金字塔池化模块， 生成特 征图； 解码模块， 用于将所述低级语义特 征输入至第二双注意力机制模块， 生成特 征图； 生成模块， 用于基于所述特 征图和所述特 征图生成预测图像； 其中， 所述第二双注意力机制模块包括第二空间注意力模块和第二 通道注意力模块。 7.根据权利要求6所述的基于多尺度注意力 机制的地物分类装置， 其特征在于， 解码模 块在将所述低级语义特 征输入至第二双注意力机制模块， 生成特 征图， 具体用于： 将低级语义特 征进行1×1卷积后生成低级特 征图； 将低级特 征图进行1 ×1卷积生成特 征图； 将特征图输入至第二空间注意力模块， 通过第 二空间注意力模块对特征图经过3 ×3卷 积、 激活函数后生成特征图， 将特征图经过两个堆叠的3 ×3卷积、 激活函数后生成特征图； 将特征图经过三个堆叠的3 ×3卷积、 激活函数后生成特征图； 将特征图、 特征图、 特征图融 合后， 经激活函数、 1 ×1卷积生成特 征图； 将特征图经过全局池化层、 全连接层、 激活函数、 全连接层以及激活函数后， 生成特图； 将特征图、 特征图以及低级特 征图相乘后， 生成特 征图； 将特征图与低级特 征图相加， 融合 生成特征图。 8.一种电子设备， 其特 征在于， 该电子设备包括： 至少一个处 理器； 存储器； 至少一个应用程序， 其中至少一个应用程序被存储在存储器中并被配置为由至少一个 处理器执行， 所述至少一个应用程序配置用于： 执行权利要求1～5任一项所述的基于多尺 度注意力机制的地物分类方法。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 当所述计算机程序 在计算机中执行时， 令所述计算机执行权利要求 1～5任一项 所述的基于多尺度 注意力机制 的地物分类方法。权　利　要　求　书 2/2 页 3 CN 114913436 A 3