(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210814394.9 (22)申请日 2022.07.11 (71)申请人 南京工业大 学 地址 211816 江苏省南京市江北新区浦珠 南路30号 (72)发明人 李延成　杭嘉琪　赖韬　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 林佳纯 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/00(2017.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习与注意力机制的混凝土裂缝 分割方法及系统 (57)摘要 本发明提供了基于深度学习与注意力机制 的混凝土裂缝分割方法及系统， 包括如下步骤： 将原始图 像输入到经典的卷积神经网络 ResNet101中， 经过卷积层、 池化层、 批标准化层 与激活函数之后， 得到特征图； 利用自注意力机 制VH‑CAM突出特征图中的裂缝特征； 低级特征图 经过通道注意力机制ECAUM的引导后与进行过上 采样的高级特征图进行特征融合， 得到与原始图 像相同大小的特征图； 对与原始图像相同大小的 特征图进行softmax预测， 得到图像中每个像素 的类别， 实现裂缝的像素级分割。 本发明可以实 现高精度的裂缝分割， 因此适用于混凝土裂缝的 检测。 权利要求书2页 说明书7页 附图2页 CN 115147439 A 2022.10.04 CN 115147439 A 1.基于深度学习与注意力机制的混凝 土裂缝分割方法， 其特 征在于， 包括以下步骤： 基于原始图像， 获得 特征图； 基于所述特 征图， 获得混凝 土裂缝特征； 基于所述混凝 土裂缝特征， 获得低级特 征图和高级特 征图； 将所述低级特征图和所述高级特征图进行特征融合， 获得与原始图像大小相同的特征 图； 基于所述与原 始图像大小相同的特 征图， 实现混凝 土裂缝的像素级分割。 2.根据权利要求1所述的基于深度学习与注意力机制的混凝土裂缝分割方法， 其特征 在于， 获得 特征图的方法为： 将所述原始图像输入到卷积神经网络ResNet101中， 经过卷积层、 池化层、 批标准化层 与激活函数之后， 获得 特征图。 3.根据权利要求2所述的基于深度学习与注意力机制的混凝土裂缝分割方法， 其特征 在于， 所述卷积神经网络ResNet101包括5个卷积阶段， 其中， 第一个卷积阶段包括卷积层 Conv1_1， 使用64个卷积核； 第二个卷积阶段包括3个瓶颈层Bottleneck2 _1到Bottleneck2 _ 3； 第三个卷积阶段包括4个瓶颈层Bottleneck3_1到Bottleneck3_4； 第四个卷积阶段包括 23个瓶颈层Bottleneck4_1到Bottleneck4_23； 第五个卷积阶段包括3个瓶颈层 Bottleneck5_1到Bottleneck5_3； 卷积层Conv1_1后依次紧跟所述批标准化层、 所述激活函 数、 所述池化层； 所述瓶颈层由卷积层Conv1、 卷积层Conv2和卷积层Conv3组成， 每个卷积层后均紧跟所 述批标准化层和所述激活函数； 所述Bottleneck2_1到 所述Bottleneck2 _3中的所述卷积层 Conv1和所述卷积层Conv2使用64个卷积核， 所述卷积层Conv3使用256个卷积核； 所述 Bottleneck3_1到所述Bottleneck3_4中的所述卷积层Conv1和所述卷积层Conv2使用128个 卷积核， 所述卷积层Conv3使用512 个卷积核； 所述Bottleneck4_1到所述Bottleneck4_23中 的所述卷积层Conv1和所述卷积层Conv2使用256个卷积核， 所述卷积层Conv3使用1024个卷 积核； 所述Bottleneck5_1到所述Bottleneck5_3中的所述卷积层Conv1和所述卷积层Conv2 使用512个卷积核， 所述卷积层Co nv3使用2048个卷积核。 4.根据权利要求3所述的基于深度学习与注意力机制的混凝土裂缝分割方法， 其特征 在于， 所述池化层采用滤波器大小为3 ×3的最大池化。 5.根据权利要求3所述的基于深度学习与注意力机制的混凝土裂缝分割方法， 其特征 在于， 所述的激活函数采用ReLU函数f(x)＝max(0， x)， 表示输出为输入与0之间的最大值。 6.根据权利要求1所述的基于深度学习与注意力机制的混凝土裂缝分割方法， 其特征 在于， 获得混凝 土裂缝特征的方法为： 将所述特 征图经过自注意力机制VH ‑CAM， 获得混凝 土裂缝特征。 7.根据权利要求1所述的基于深度学习与注意力机制的混凝土裂缝分割方法， 其特征 在于， 获得与原 始图像大小相同的特 征图的方法为： 将所述低级特 征图经过通道注意力机制E CAUM的引导；权　利　要　求　书 1/2 页 2 CN 115147439 A 2将所述高级特 征图经过双线性插值进行 上采样； 将经过引导的所述低级特征图和经过上采样的所述高级特征图进行特征融合， 获得与 原始图像大小相同的特 征图。 8.根据权利要求1所述的基于深度学习与注意力机制的混凝土裂缝分割方法， 其特征 在于， 基于所述与原 始图像大小相同的特 征图， 实现混凝 土裂缝的像素级分割的方法为： 对所述与原始图像大小相同的特征图进行softmax预测， 获得所述与原始图像大小相 同的特征图中每 个像素的类别； 基于所述像素的类别， 实现混凝 土裂缝的像素级分割。 9.基于深度 学习与注意力 机制的混凝土裂缝分割系统， 其特征在于， 包括： 第 一获得模 块、 第二获得模块、 第三获得模块、 融合模块和分割模块； 所述第一获得模块用于基于原 始图像， 获得 特征图； 所述第二获得模块用于基于所述特 征图， 获得混凝 土裂缝特征； 所述第三获得模块用于基于所述混凝 土裂缝特征， 获得低级特 征图和高级特 征图； 所述融合模块用于将所述低级特征图和所述高级特征图进行特征融合， 获得与原始图 像大小相同的特 征图； 所述分割 模块用于基于所述与原始图像大小相同的特征图， 实现混凝土裂缝的像素级 分割。权　利　要　求　书 2/2 页 3 CN 115147439 A 3