(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210847879.8 (22)申请日 2022.07.19 (71)申请人 华北电力大 学 （保定） 地址 071003 河北省保定市莲池区永华北 大街619号 华北电力大 学 (72)发明人 仝卫国　仪小龙　寇德龙　翟永杰　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 杜阳阳 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多尺度特征提取系统、 方法和风机桨叶缺陷 检测方法 (57)摘要 本发明涉及一种多尺度特征提取系统， 所述 多尺度特征提取系统包括： 多层特征提取模块、 多层上特征融合模块和多层下特征融合模块； 所 述多层特征提取模块包括N个依次连接的第一卷 积层； 所述多层上特征融合模块包括N ‑2个依次 连接的上采样层； 所述多层下特征融合模块包括 N‑2个依次连接的降采样层； 第N个第一卷积层通 过第二卷积层与第1个上采样层连接， 第N ‑2个上 采样层与第1个降采样层连接； 每个所述上采样 层的输出端及每个所述降采样层的输出端均设 置有残差模块。 本发明实现了对多尺度特征的提 取与融合， 克服现有的基于风机桨叶的图像尺度 进行检测的方法， 对于小尺度缺陷无法实现准确 的检测和定位， 进而难以全面地进行风机桨叶的 缺陷识别的技 术缺陷。 权利要求书2页 说明书10页 附图3页 CN 115170816 A 2022.10.11 CN 115170816 A 1.一种多尺度特征提取系统， 其特征在于， 所述多尺度特征提取系统包括： 多层特征提 取模块、 多层上 特征融合模块和多层下 特征融合模块； 所述多层特 征提取模块包括 N个依次连接的第一卷积层； 所述多层上 特征融合模块包括 N‑2个依次连接的上采样层； 所述多层下 特征融合模块包括 N‑2个依次连接的降采样层； 第N个第一卷积层通过第二卷积层与第1个上采样层连接， 第N ‑2个上采样层与第1个降 采样层连接； 每个所述上采样层的输出端及每 个所述降采样层的输出端均设置有残差模块； 设置在第n个上采样层的输出端的残差模块还与第N ‑n个第一卷积层的输出端通过第 二卷积层连接； n ＝1， ...， N‑2； 设置在第m个降采样层的输出端 的残差模块还与第N ‑1‑m个上采样层的输入端通过第 三卷积层连接； m＝1， . ..， N‑2。 2.根据权利要求1所述的多尺度特征提取系统， 其特征在于， 残差模块包括： 依次连接 的特征融合层、 BN层、 LeakyReLU激活函数层和CA 注意力机制模块。 3.根据权利要求2所述的多尺度 特征提取系统， 其特征在于， 所述CA注意力机制模块包 括： 依次连接的坐标信息嵌入 模块和坐标注意力生成模块。 4.一种多尺度特征提取方法， 其特征在于， 所述提取方法基于权利要求1 ‑3任一项所述 的多尺度特 征提取系统， 所述 提取方法包括如下步骤： 通过多层特征提取模块的多个第 一卷积层对输入图片进行多次卷积下采样操作， 获得 多个不同尺度的第一特 征图； 通过多层上特征融合模块的多个上采样层和残差模块对多个不同尺度的第一特征图 进行上采样操作和融合， 获得多个不同尺度的第二特 征图； 通过多层下特征融合模块的多个降采样层和残差模块对多个不同尺度的第二特征图 进行降采样 操作和融合， 获得多个不同尺度的第三特 征图。 5.根据权利要求4所述的多尺度 特征提取方法， 其特征在于， 所述通过多层上特征融合 模块的多个上采样层和残差模块对多个不同尺度的第一特征图进 行上采样操作和融合， 获 得多个不同尺度的第二特 征图， 具体包括： 通过第n个上采样层对第n个第二特征图进行上采样操作， 得到第n个上采样层输出的 特征图； n＝1， ...， N ‑2； 其中， 第1个第二特征图为第N个上采样层输出的第一特征图经第二 卷积层进行 卷积操作后得到的特 征图； 通过设置在第n个上采样层的输出端的残差模块对第N ‑n个第一卷积操作特征图与第n 个上采样层输出的特征图进 行融合得到第n +1个第二特征图； 第N ‑n个第一卷积操作特征图 为第N‑n个第一卷积层输出的第一特 征图经第二卷积层进行 卷积操作得到的特 征图。 6.根据权利要求4所述的多尺度 特征提取方法， 其特征在于， 所述通过多层下特征融合 模块的多个降采样层和残差模块对多个不同尺度的第二特征图进 行降采样操作和融合， 获 得多个不同尺度的第三特 征图， 具体包括： 通过第m个降采样层对第m个第三特征图进行降采样操作， 得到第m个降采样层输出的 特征图； m＝1， . ..， N‑2； 其中， 第1个第三特 征图为第N ‑2个第二特 征图； 通过设置在第m个降采样层输出端的残差模块对第N ‑m‑1个第二卷积操作特征图与第m权　利　要　求　书 1/2 页 2 CN 115170816 A 2个将采样层输出的特征图进行融合得到第m+1个第三特征图； 第N ‑m‑1个第二卷积操作特征 图为对第N ‑m‑1个第二特 征图经第三卷积层进行 卷积操作后得到的特 征图。 7.一种风机桨叶缺陷检测方法， 其特征在于， 所述检测方法基于Faster R‑CNN风机桨叶 缺陷检测模 型； 所述Faster  R‑CNN风机桨叶缺陷检测模 型包括： 区域建议网络、 目标检测网 络及权利要求1 ‑3任一项所述的多尺度特征提取系统， 所述多尺度特征提取系统分别与所 述区域建议网络和所述目标检测网络连接， 所述区域建议网络与所述目标检测网络连接； 所述检测方法包括如下步骤： 将带有待检测的风机桨叶的图像输入多尺度 特征提取系统进行特征提取， 获得多个不 同尺度的第三特 征图； 将多个不同尺度的第 三特征图输入区域建议网络进行感兴趣区域提取， 得到不同尺度 的第三特 征图对应的感兴趣区域； 将不同尺度的第三特征图及不同尺度的第三特征图对应的感兴趣区域输入目标检测 网络， 确定风机桨叶的缺陷位置和类型。 8.根据权利要求7所述的风机桨叶缺陷检测方法， 其特征在于， 所述将带有待检测的风 机桨叶的图像输入多尺度特征提取系统进行特征提取， 获得多个不同尺度的第三特征图， 之前还包括： 利用无人机航拍技术采集风电场的风机桨叶的样本图像， 并通过lableimg工具对样本 图像进行 标注， 构建初始样本集； 对所述初始样本集进行 数据增强处 理和高斯去噪处 理， 获得处 理后的样本集； 利用处理后的样本集对基于Faster  R‑CNN风机桨叶缺陷检测模型进行训练。 9.一种风机桨叶缺陷检测系统， 其特征在于， 所述检测系统基于Faster R‑CNN风机桨叶 缺陷检测模 型； 所述Faster  R‑CNN风机桨叶缺陷检测模 型包括： 区域建议网络、 目标检测网 络及权利要求1 ‑3任一项所述的多尺度特征提取系统， 所述多尺度特征提取系统分别与所 述区域建议网络和所述目标检测网络连接， 所述区域建议网络与所述目标检测网络连接； 所述检测系统包括： 特征提取模块， 用于将带有待检测的风机桨叶的图像输入多尺度 特征提取系统进行特 征提取， 获得多个不同尺度的第三特 征图； 感兴趣区域提取模块， 用于将多个不同尺度的第 三特征图输入区域建议网络进行感兴 趣区域提取， 得到不同尺度的第三特 征图对应的感兴趣区域； 目标检测模块， 用于将不同尺度的第 三特征图及不同尺度的第 三特征图对应的感兴趣 区域输入目标检测网络， 确定风机桨叶的缺陷位置和类型。 10.根据权利要求9所述的风机桨叶缺陷检测系统， 其特 征在于， 所述检测系统还 包括： 初始样本集构建模块， 用于利用无人机航拍技术采集风电场的风机桨叶的样本 图像， 并通过lableimg工具对样本图像进行 标注， 构建初始样本集； 数据处理模块， 用于对所述初始样本集进行数据增强处理和高斯去噪处理， 获得处理 后的样本集； 训练模块， 用于利用处理后的样本集对基于Faster  R‑CNN风机桨叶缺陷检测模型进行 训练。权　利　要　求　书 2/2 页 3 CN 115170816 A 3