(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210680382.1 (22)申请日 2022.06.15 (71)申请人 上海工程 技术大学 地址 201620 上海市松江区龙腾路3 33号 (72)发明人 高玮玮　樊博　方宇　杨皓　 张海峰　范狄庆　沙玲　刘欣荣　 张爱华　 (74)专利代理 机构 上海唯智赢专利代理事务所 (普通合伙) 31293 专利代理师 刘朵朵 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/40(2006.01) G06T 7/10(2017.01) G06V 10/40(2022.01)G06V 10/80(2022.01) (54)发明名称 一种多视觉融合的风力发电机叶片表面缺 陷检测方法 (57)摘要 本发明公开了一种多视觉融合的风力发电 机叶片表 面缺陷检测方法， 属于风力发电机叶片 视觉检测领域。 技术方案包括： 首先获取多个工 业相机采集的风机叶片表面缺陷的平面图像与 深度图像； 对其进行特征融合与拼接， 得到平面 拼接图像及深度拼接图像； 然后利用SIFT完成特 征匹配得到平 面图像表面缺陷的粗定位； 利用小 波变换方法进行图像增强， 减少光照的影响； 并 利用BiSeNet  V2网络进行缺陷检测， 获得缺陷检 测结果； 将平 面拼接图像和深度拼接图像以及缺 陷检测结果可视化输出至控制终端。 本发明根据 风力发电机叶片的平面图像和深度图像来实现 对其表面缺陷的自动检测， 具有检测速度快、 精 度高的优点。 权利要求书2页 说明书5页 附图2页 CN 115311196 A 2022.11.08 CN 115311196 A 1.一种多视 觉融合的风力发电机叶片表面 缺陷检测方法， 其特 征在于， 包括如下步骤： 步骤1： 获取多个工业相机采集的风机叶片表面缺陷的平面图像与深度图像， 并将其进 行对齐， 得到所述平面图像与所述深度图像的配准 参数； 步骤2： 对所述平面图像进行特征融合与拼接， 得到平面拼接图像以及拼接参数， 并利 用所述平面图像之间的拼接参数和所述平面图像与所述深度图像之间的配准参数完成所 述深度图像的拼接， 得到深度拼接图像； 步骤3： 缩放所述平面拼接图像， 利用尺度不变特征变换方法SIFT完成特征匹配， 获得 所述平面 拼接图像表面 缺陷的粗定位； 步骤4： 利用小波变换方法对所述平面拼接图像进行图像增强， 减少光照的影响， 改善 图像质量； 步骤5： 对增强后的所述平面拼接图像， 利用BiSeNet  V2网络进行缺陷检测， 获得缺陷 检测结果； 步骤6： 将所述平面拼接 图像和所述深度拼接 图像以及所述缺陷检测结果可视化输出 至控制终端。 2.根据权利要求1所述的一种多视觉融合的风力发电机叶片表面缺陷检测方法， 其特 征在于， 所述 步骤2对所述平面图像进行 特征融合与拼接包括： 将所述平面图像采用加速稳健特征算法进行特征点提取， 将提取的特征点进行快速最 近邻逼近 搜索算法匹配， 选择 K‑D树算法继续筛 选可靠的匹配点完成图像 配准； 采用拉普拉斯金字塔融合 算法实现图像融合， 消除拼接裂缝和鬼影现象。 3.根据权利要求1所述的一种多视觉融合的风力发电机叶片表面缺陷检测方法， 其特 征在于， 所述步骤4利用小波变换方法进行图像增强包括： 对原始图像进行小波分解， 得到 图像低频成分和高频成分， 对小波系 数进行非线性增强， 将增强后的小波系 数进行小波逆 变换， 得到 重构后的增强图像。 4.根据权利要求3所述的一种多视觉融合的风力发电机叶片表面缺陷在线检测方法， 其特征在于， 所述对小 波系数进行非线性增强， 函数关系式满足： 其中： G为小波系数增强倍数， T为小波系数阈值， Wi为图像分解后的小波系数， Wo为增强 后的小波系数。 5.根据权利要求1所述的一种多视觉融合的风力发电机叶片表面缺陷检测方法， 其特 征在于： 所述步骤5中利用BiSeNet  V2网络进 行缺陷检测前， 还包括对 所述增强后的平 面拼 接图像采用空间滤波方法， 去除图像噪点。 6.根据权利要求1所述的一种多视觉融合的风力发电机叶片表面缺陷在线检测方法， 其特征在于： 所述 步骤5利用BiSeNet  V2网络进行缺陷检测包括， (5.1)采集表面存在缺陷的风机叶片图像， 对其进行数据增强构建风机叶片表面缺陷 数据集；权　利　要　求　书 1/2 页 2 CN 115311196 A 2(5.2)构建所述BiSeNet  V2网络模型， 利用所述风机叶片表面缺陷数据集进行模型训 练； (5.3)使用训练好的所述BiSeNet  V2网络模型进行缺陷检测， 输出 所述缺陷检测结果。 7.根据权利要求6所述的一种多视觉融合的风力发电机叶片表面缺陷在线检测方法， 其特征在于： 所述 步骤(5.1)中构建风机叶片表面 缺陷数据集包括： 使用标注软件labelme对所述表面存在缺陷的风机叶片图像进行标注生成json文件， 所述json文件中包含缺陷的轮廓和类别信息； 通过随机添加高斯和椒盐噪声模拟没有精 准 聚焦的图片， 对所述表面存在缺陷的风机叶片图像进 行水平翻转和随机剪裁操作扩增数据 集。 8.根据权利要求1所述的一种多视觉融合的风力发电机叶片表面缺陷在线检测方法， 其特征在于， 所述BiSeNet  V2网络包括： 细节分支， 通过三层树状卷积结构获取缺陷图像浅层空间信息； 语义分支， 通过 快速下采样策略和嵌入上 下文模块获取图像深层语义信息； 引导聚合层对两条分支进行相互加权处理以融合缺陷不同尺度的特征图， 分割头通过 上采样操作得到分割结果。 9.根据权利要求8所述的一种多视觉融合的风力发电机叶片表面缺陷在线检测方法， 其特征在于： 所述细节分支输入图像大小是H ×W×3,输出图像大小是 所述语义分支输入图像大小是H ×W×3,输出图像大小是 其中W表示宽度， H表示高度， 3和128均表示特 征图通道数。 10.根据权利要求1所述的一种多视觉融合的风力发电机叶片表面缺陷在线检测方法， 其特征在于： 所述 缺陷检测结果包括叶片表面 缺陷类型和轮廓。权　利　要　求　书 2/2 页 3 CN 115311196 A 3