(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210678974.X (22)申请日 2022.06.16 (71)申请人 上海互觉科技有限公司 地址 201612 上海市松江区新 桥镇新腾路9 号2幢3层3 03室 (72)发明人 李源琦　刘潇颖　 (74)专利代理 机构 上海锻创知识产权代理有限 公司 314 48 专利代理师 顾继光 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/13(2017.01) G06V 10/141(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多光源协同的表面缺陷检测方法及系 统 (57)摘要 本发明提供了一种基于多光源协同的表面 缺陷检测方法及系统， 包括采集物体在不同方向 光源照射下的一组图像； 对训练集样本进行随机 裁剪， 并添加噪声， 得到训练数据； 每个分支均以 一个三通道RGB图像作为输入， 得到多分支特征 信息； 对网络进行搭建， 使用最大池化将多分支 特征信息进行融合， 将数量不定的特征向量聚合 为一个具有固定通道数的特征图， 保留各个分支 最显著的特征， 得到待训练检测模型； 使用训练 数据， 输入待训练检测模 型， 完成模型前向计算， 得到已训练检测模型； 将已训练检测模型用于实 际工业质检场景中， 对工件表面缺陷进行检测。 本发明通过二维图像对物体的三维形状进行还 原， 解决了工业质检场景下三维缺陷难以检测与 分类的问题。 权利要求书2页 说明书7页 附图2页 CN 115272175 A 2022.11.01 CN 115272175 A 1.一种基于多光源协同的表面 缺陷检测方法， 其特 征在于， 所述方法包括如下步骤： 步骤S1： 根据光度立体法的基本原理， 以相同的相机视角， 采集物体在不同方向光源照 射下的一组图像， 根据每 个像素点的光照强度计算物体表面的法向量； 步骤S2： 使用仿真数据集Blobby  Dataset和Sculpture  Dataset作为训练集， 对训练集 样本进行随机 裁剪， 并添加噪声， 得到训练数据； 步骤S3： 全卷积神经网络是一个多分支的暹罗网络， 在输入端， 各分支网络具有相同的 配置、 参数以及权 重， 每个分支均以一个三 通道RGB图像作为输入， 得到多分支特 征信息； 步骤S4： 对网络进行搭建， 使用最大池化将步骤S3输出的多分支特征信息进行融合， 将 数量不定的特征向量聚合为一个具有固定通道数 的特征图， 保留各个分支最显著的特征， 得到待训练检测模型； 步骤S5： 使用步骤S2中得到的训练数据， 输入步骤S4中得到的待训练检测模型， 完成模 型前向计算， 得到已训练检测模型； 步骤S6： 将步骤S5中得到的已训练检测模型用于实际工业质检场景中， 对工件表面缺 陷进行检测。 2.根据权利要求1所述的基于多光源协同的表面缺陷检测方法， 其特征在于， 所述步骤 S1将相机方向固定竖直向下， 设置四个不同方向的光源； 各方向光源轮流照射待测物体， 相 机分别对单个光源照射下的物体进行拍摄， 采集到的图像作为测试 数据。 3.根据权利要求1所述的基于多光源协同的表面缺陷检测方法， 其特征在于， 所述步骤 S3中的每个单分支使用Dar knet‑53的主干部分进 行特征提取， 使用特征金字塔结构进行特 征融合； Darknet ‑53共对输入图像进行五次降采样， 压缩图像， 减少参数； 特征金字塔结构 自上而下地将高层特征信息与低层特征信息融合， 并传递到下一层， 加强特征的提取， 得到 多分支特 征信息。 4.根据权利要求1所述的基于多光源协同的表面缺陷检测方法， 其特征在于， 所述步骤 S4中将融合特征信息输入法向量回归网络； 所述法向量回归网络 设置有两个上采样层和一 个逆卷积层； 在法向量回归网络的末端采用L2归一化层统一特征向量的量纲， 并生成表面 法向量； 网络搭建完成后， 得到待训练检测模型。 5.根据权利要求1所述的基于多光源协同的表面缺陷检测方法， 其特征在于， 所述步骤 S5中的训练的结果采用预测法向量和真实法向量之间的估计误差进 行监督； 采用余弦相似 度表示损失函数； 通过损失函数计算实际输出和期望输出之间的差距， 根据梯度反向传播 算法， 得到模型中能够学习参数的梯度， 根据优化器配置完成梯度的参数更新， 再次进行前 向传播， 反复迭代； 随着损失函数 逐渐减小， 完成模型的训练， 得到已训练检测模型。 6.一种基于多光源协同的表面 缺陷检测系统， 其特 征在于， 所述系统包括如下模块： 模块M1： 根据光度立体法的基本原理， 以相同的相机视角， 采集物体在不同方向光源照 射下的一组图像， 根据每 个像素点的光照强度计算物体表面的法向量； 模块M2： 使用仿真数据集Blobby  Dataset和Sculpture  Dataset作为训练集， 对训练集 样本进行随机 裁剪， 并添加噪声， 得到训练数据； 模块M3： 全卷积神经网络是一个多分支的暹罗网络， 在输入端， 各分支网络具有相同的 配置、 参数以及权 重， 每个分支均以一个三 通道RGB图像作为输入， 得到多分支特 征信息； 模块M4： 对网络进行搭建， 使用最大池化将模块M3输出的多分支特征信息进行融合， 将权　利　要　求　书 1/2 页 2 CN 115272175 A 2数量不定的特征向量聚合为一个具有固定通道数 的特征图， 保留各个分支最显著的特征， 得到待训练检测模型； 模块M5： 使用模块M2中得到的训练数据， 输入模块M4中得到的待训练检测模型， 完成模 型前向计算， 得到已训练检测模型； 模块M6： 将模块M5中得到的已训练检测模型用于实际工业质检场景中， 对工件表面缺 陷进行检测。 7.根据权利要求6所述的基于多光源协同的表面缺陷检测系统， 其特征在于， 所述模块 M1将相机方向固定竖直向下， 设置四个不同方向的光源； 各方向光源轮流照射待测物体， 相 机分别对单个光源照射下的物体进行拍摄， 采集到的图像作为测试 数据。 8.根据权利要求6所述的基于多光源协同的表面缺陷检测系统， 其特征在于， 所述模块 M3中的每个单分支使用Dar knet‑53的主干部分进 行特征提取， 使用特征金字塔结构进行特 征融合； Darknet ‑53共对输入图像进行五次降采样， 压缩图像， 减少参数； 特征金字塔结构 自上而下地将高层特征信息与低层特征信息融合， 并传递到下一层， 加强特征的提取， 得到 多分支特 征信息。 9.根据权利要求6所述的基于多光源协同的表面缺陷检测系统， 其特征在于， 所述模块 M4中将融合特征信息输入法向量回归网络； 所述法向量回归网络 设置有两个上采样层和一 个逆卷积层； 在法向量回归网络的末端采用L2归一化层统一特征向量的量纲， 并生成表面 法向量； 网络搭建完成后， 得到待训练检测模型。 10.根据权利要求6所述的基于多光源协同的表面缺陷检测系统， 其特征在于， 所述模 块M5中的训练的结果采用预测法向量和真实法向量之 间的估计误差进 行监督； 采用余弦相 似度表示损失函数； 通过损失函数计算实际输出和期望输出之间的差距， 根据梯度反向传 播算法， 得到模型中能够学习参数的梯度， 根据优化器配置完成梯度的参数更新， 再次进 行 前向传播， 反复迭代； 随着损失函数 逐渐减小， 完成模型的训练， 得到已训练检测模型。权　利　要　求　书 2/2 页 3 CN 115272175 A 3