(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210775080.2 (22)申请日 2022.07.01 (71)申请人 心鉴智控 （深圳） 科技有限公司 地址 518000 广东省深圳市福田区华强北 街道福强社区振华路中电迪富大厦4 层 (72)发明人 任杰　 (74)专利代理 机构 深圳汉林汇融知识产权代理 事务所(普通 合伙) 44850 专利代理师 吴洪波 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/90(2017.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(2006.01) (54)发明名称 镀膜镜片瑕疵检测方法、 装置、 设备及存储 介质 (57)摘要 本发明涉及图像处理领域， 公开了一种镀膜 镜片瑕疵检测方法、 装置、 设备及存储介质， 用于 提高镀膜镜片瑕疵检测的准确率。 所述镀膜镜片 瑕疵检测方法包括： 基于环形桶、 环形光源以及 图像采集终端采集待检测镀膜镜片的初始图像； 对初始图像进行图像切割， 得到切割后的图像， 并对切割后的图像进行图像灰度变换， 得到标准 图像； 将标准图像输入预置镀膜镜片瑕疵检测模 型进行瑕疵检测， 输出检测结果， 其中， 镀膜镜片 瑕疵检测模型包括： 输入层、 CSP网络、 Neck网络 和输出层； 若检测结果为待检测镀膜镜片存在镀 膜瑕疵， 则将检测结果中的五维向量可视化为检 测框； 将检测框与初始图像相结合， 得到标注有 镀膜瑕疵位置和瑕疵种类的目标图像 。 权利要求书3页 说明书11页 附图4页 CN 115115600 A 2022.09.27 CN 115115600 A 1.一种镀膜镜片瑕疵检测方法， 其特 征在于， 所述镀膜镜片瑕疵检测方法包括： 基于预置的环形桶、 预置的环形光源以及预置的图像采集终端采集待检测镀膜镜片的 初始图像； 对所述初始图像进行图像切割， 得到切割后的图像， 并对所述切割后的图像进行图像 灰度变换， 得到标准图像； 将所述标准图像输入预置镀膜镜片瑕疵检测模型进行瑕疵检测， 输出检测结果， 其中， 所述镀膜镜片瑕疵检测模型包括： 输入层、 CS P网络、 Neck网络和输出层； 若所述检测结果为所述待检测镀膜镜片存在镀膜瑕疵， 则调用预置可视化接口， 将所 述检测结果中的五 维向量可视化 为检测框； 将所述检测框与所述初始图像相结合， 得到标注有镀膜瑕疵位置和瑕疵种类的目标图 像。 2.根据权利要求1所述的镀膜镜片瑕疵检测方法， 其特征在于， 所述镀膜镜片瑕疵检测 方法还包括： 获取样本图像和预置训练模型； 对所述样本图像进行信息标注， 得到所述样本图像对应的标注图像； 将所述样本图像输入所述训练模型的输入层进行归一 化处理， 得到归一 化图像； 将所述归一化图像输入所述训练模型的CSP网络进行卷积运算和特征提取， 得到第一 特征图； 将所述第一特征图输入所述训练模型的Neck网络进行特征提取和残差学习， 得到所述 第一特征图对应的第二特 征图； 将所述第一特征图和所述第 二特征图输入所述训练模型的输出层进行像素点预测， 得 到所述样本图像的各个 像素点对应的预测结果并输出； 根据所述预测结果和所述标注图像， 对所述训练模型的参数进行优化， 直至所述训练 模型收敛， 得到 镀膜镜片瑕疵检测模型。 3.根据权利要求2所述的镀膜镜片瑕疵检测方法， 其特征在于， 所述对所述样本图像进 行信息标注， 得到所述样本图像对应的标注图像， 包括： 调用预置样本标注工具对所述样本图像中的镀膜区域进行选取， 得到多个样本区域图 像； 对所述样本区域图像进行区域信息标注， 得到所述样本图像对应的标注图像。 4.根据权利要求2所述的镀膜镜片瑕疵检测方法， 其特征在于， 所述将所述第 一特征图 和所述第二特征图输入所述训练模型的输出层进 行像素点预测， 得到所述样本图像的各个 像素点对应的预测结果并输出， 包括： 将所述第一特征图和所述第 二特征图所述训练模型的输出层， 并通过所述输出层对所 述第一特 征图和所述第二特 征图进行拼接， 得到拼接特 征图； 通过所述输出层对所述 拼接特征图进行整合， 得到所述样本图像对应的输出值； 通过所述输出层计算所述输出值对应所述样本图像中的各个像素点为特征点的概率 值； 判断各个所述 概率值是否超过 预置特征点阈值； 若是， 则将所述概率值大于所述特征点阈值的像素点的位置坐标作为预测结果并输权　利　要　求　书 1/3 页 2 CN 115115600 A 2出。 5.根据权利要求2所述的镀膜镜片瑕疵检测方法， 其特征在于， 所述根据 所述预测结果 和所述标注图像， 对 所述训练模 型的参数进 行优化， 直至所述训练模 型收敛， 得到镀膜镜片 瑕疵检测模型， 包括： 调用预置损失函数， 计算所述预测结果和所述标注图像之间的第一损失值； 将所述第一损 失值反向传播回所述训练模型， 并基于预置优化器， 对所述训练模型的 学习率和参数进行优化， 得到优化模型； 获取验证图像和所述验证图像对应的标注图像， 并将所述验证图像输入所述优化模型 进行镀膜镜片瑕疵检测， 得到验证结果； 计算所述验证图像和所述验证图像对应的标注图像的第 二损失值， 若所述第 二损失值 小于预置损失阈值， 则将所述优化模型作为镀膜镜片瑕疵检测模型。 6.根据权利要求1 ‑5中任一项所述的镀膜镜片瑕疵检测方法， 其特征在于， 所述将所述 标准图像输入预置 镀膜镜片瑕疵检测模型进行瑕疵检测， 输出检测结果， 包括： 将所述标准图像输入预置镀膜镜片瑕疵检测模型中的CSP网络进行特征提取， 得到特 征信息； 将所述特征信 息输入预置镀膜镜片瑕疵检测模型中的Neck网络进行特征融合， 得到特 征图； 对所述特征图进行镀膜瑕疵类别信 息和位置信 息分析， 输出检测结果， 其中， 所述检测 结果包括所述待检测镀膜镜片的瑕疵位置信息和瑕疵种类信息 。 7.一种镀膜镜片瑕疵检测装置， 其特 征在于， 所述镀膜镜片瑕疵检测装置包括： 采集模块， 用于基于预置的环形桶、 预置的环形光源以及预置的图像采集终端采集待 检测镀膜镜片的初始图像； 切割模块， 用于对所述初始图像进行图像切割， 得到切割后的图像， 并对所述切割后的 图像进行图像灰度变换， 得到标准图像； 检测模块， 用于将所述标准图像输入预置镀膜镜片瑕疵检测模型进行瑕疵检测， 输出 检测结果， 其中， 所述镀膜镜片瑕疵检测模型包括： 输入层、 CS P网络、 Neck网络和输出层； 可视化模块， 用于若所述检测结果为所述待检测镀膜镜片存在镀膜瑕疵， 则调用预置 可视化接口， 将所述检测结果中的五 维向量可视化 为检测框； 输出模块， 用于将所述检测框与所述初始图像相结合， 得到标注有镀膜瑕疵位置和瑕 疵种类的目标图像。 8.根据权利要求7所述的镀膜镜片瑕疵检测装置， 其特征在于， 所述检测模块具体用 于： 将所述标准图像输入预置镀膜镜片瑕疵检测模型中的CSP网络进行特征提取， 得到特 征信息； 将所述特征信 息输入预置镀膜镜片瑕疵检测模型中的Neck网络进行特征融合， 得到特 征图； 对所述特征图进行镀膜瑕疵类别信 息和位置信 息分析， 输出检测结果， 其中， 所述检测 结果包括所述待检测镀膜镜片的瑕疵位置信息和瑕疵种类信息 。 9.一种镀膜镜片瑕疵检测设备， 其特征在于， 所述镀膜镜片瑕疵检测设备包括： 存储器权　利　要　求　书 2/3 页 3 CN 115115600 A 3