(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210781655.1 (22)申请日 2022.07.04 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 申请人 武汉引行 科技有限公司 (72)发明人 陈灯　蒋浩宸　魏巍　张彦铎　 吴云韬　卢涛　周华兵　刘玮　 段功豪　于宝成　鞠剑平　唐剑隐　 徐文霞　彭丽　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 陈晓华 (51)Int.Cl. G06T 7/00(2017.01)G06T 7/80(2017.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于G-YOLO神经网络的工业零件检测方法、 装置及存 储介质 (57)摘要 本发明提供一种基于G ‑YOLO神经网络的工 业零件检测方法、 装置及存储介质， 通过拍摄设 备对工业零件进行拍摄， 并制作工业零件初始数 据集， 构建样本训练集和样本测试集， 基于G ‑ YOLO神经网络构建初始G ‑YOLO工业零件检测模 型， 并通过预处理后的样本训练集和样本测试集 分别对初始G ‑YOLO工业零件检测模型进行模型 训练和性能测试， 得到G ‑YOLO工业零件检测模 型， G‑YOLO工业零件检测模型泛化能力强， 可以 满足多种工业零件的检测， 解决了现有方法对于 工业零件在复杂环境下检测速度慢的问题， 极大 提高检测速度， 满足工业环境下的零件实时检测 需求。 权利要求书2页 说明书8页 附图2页 CN 115239643 A 2022.10.25 CN 115239643 A 1.一种基于G ‑YOLO神经网络的工业 零件检测方法， 其特 征在于， 包括如下步骤： 通过拍摄设备对工业零件进行拍摄， 并制作工业零件初始数据集， 所述工业零件初始 数据集包括多个工业 零件样本图像； 通过图像标注工具分别对多个所述工业 零件样本图像进行目标边框标注； 分别对标注后的多个工业零件样本图像进行数据增强处理， 按照预设比例 将标注后的 多个工业零件样本图像和数据增强后的工业零件样本图像进 行划分， 得到样本训练集和样 本测试集； 基于G‑YOLO神经网络构建初始G ‑YOLO工业 零件检测模型； 通过所述样本训练集对所述初始G ‑YOLO工业零件检测模型进行训练， 并通过所述样本 测试集对训练后的初始G ‑YOLO工业零件检测模型进 行性能测试， 得到 G‑YOLO工业零件检测 模型； 通过所述拍摄设备对待检测工业 零件进行拍摄， 得到待检测工业 零件图像； 将所述待检测工业零件图像发送至所述G ‑YOLO工业零件检测模型中， 通过所述G ‑YOLO 工业零件检测模型输出 所述待检测工业 零件图像的检测结果。 2.根据权利要求1所述的工业零件检测方法， 其特征在于， 所述通过拍摄设备对工业零 件进行拍摄， 并制作工业 零件初始数据集， 具体为： 通过拍摄设备对置 于操作台上的工业 零件进行拍摄， 得到 工业零件视频样本； 基于图像处理算法从所述工业零件视频样本 中获取多个单帧的工业零件样本图像， 并 按照设定要求从多个工业零件样本图像中进 行筛选， 将筛选得到的多个工业零件样本图像 集合成工业 零件初始数据集。 3.根据权利要求1所述的工业零件检测方法， 其特征在于， 所述通过图像标注工具分别 对多个所述工业 零件样本图像进行 标注， 具体为： 使用Labelimg图像标注工具对多个所述工业零件样本图像进行目标边框标注处理， 所 述目标边框标注处理的内容包括目标边框的x、 y、 w和h四个位置信息和 每个目标边框所对 应的类别 信息， 所述类别 信息包括gear类别 信息、 beari ng类别信息和nut类别 信息。 4.根据权利 要求3所述的工业零件检测方法， 其特征在于， 所述基于G ‑YOLO神经网络构 建初始G‑YOLO工业 零件检测模型， 具体为： 构建GhostNet网络层来 替换G‑YOLO神经网络中的CS PDarkNet53主干特征提取网络； 剔除所述G ‑YOLO神经网络中的down ‑up特征融合路径， 并对特征融合的输出分支进行 裁剪， 保留用于检测大尺度目标的特征层和用于检测中等尺度目标的特征层作为G ‑YOLO神 经网络的输出； 通过K‑Means聚类算法分别对各个所述目标边框进行聚类， 得到适用于G ‑YOLO神经网 络的anchor尺寸， 从而完成对G ‑YOLO神经网络的优化； 通过Tensonflow ‑gpu深度学习框架对优化后的G ‑YOLO神经网络进行构建， 得到G ‑YOLO 工业零件检测模型。 5.根据权利要求1所述的工业零件检测方法， 其特征在于， 所述分别对标注后的多个工 业零件样本图像进行 数据增强处 理， 具体为： 分别对标注后的多个工业零件样本图像分别进行水平镜像、 垂直镜像和对角镜像三种 数据增强处 理。权　利　要　求　书 1/2 页 2 CN 115239643 A 26.根据权利要求1至5任一项所述的工业零件检测方法， 其特征在于， 所述将所述待检 测工业零件图像发送至所述G ‑YOLO工业零件检测模 型中， 通过所述G ‑YOLO工业零件检测模 型输出所述待检测工业 零件图像的检测结果， 具体为： 将所述G‑YOLO工业 零件检测模型部署在外 部PC机中； 将所述待检测工业零件图像以数据流形式传输至外部PC机的G ‑YOLO工业零件检测模 型中， 并通过所述G ‑YOLO工业零件检测模型对所述待检测 工业零件图像进行检测， 并输出 检测结果， 所述检测结果包括预测框的位置信息、 预测框中的的工业零件类别信息以及预 测框的置信度。 7.一种基于G ‑YOLO神经网络的工业 零件检测装置， 其特 征在于， 包括： 拍摄模块， 用于通过拍摄设备对工业零件进行拍摄， 并制作工业零件初始数据集， 所述 工业零件初始数据集包括多个工业 零件样本图像； 标注模块， 用于通过图像标注工具分别对多个所述工业零件样本图像进行目标边框标 注； 图像预处理模块， 用于分别对标注后的多个工业零件样本 图像进行数据增强处理， 按 照预设比例将标注后的多个工业零件样本图像和数据增强后的工业零件样本图像进行划 分， 得到样本训练集和样本测试集； 模型构建模块， 用于基于G ‑YOLO神经网络构建初始G ‑YOLO工业 零件检测模型； 训练模块， 用于通过所述样本训练集对所述初始G ‑YOLO工业零件检测模型进行训练， 并通过所述样本测试集对训练后的初始G ‑YOLO工业零件检测模型进行性能测试， 得到G ‑ YOLO工业 零件检测模型； 所述拍摄模块， 还用于通过所述拍摄设备对待检测工业零件进行拍摄， 得到待检测工 业零件图像； 检测模块， 用于将所述待检测工业零件图像发送至所述G ‑YOLO工业零件检测模型中， 通过所述G‑YOLO工业 零件检测模型输出 所述待检测工业 零件图像的检测结果。 8.根据权利要求7所述的工业零件检测装置， 其特征在于， 所述标注模块中， 通过图像 标注工具分别对多个所述工业 零件样本图像进行 标注， 具体为： 使用Labelimg图像标注工具对多个所述工业零件样本图像进行目标边框标注处理， 所 述目标边框标注处理的内容包括目标边框的x、 y、 w和h四个位置信息和 每个目标边框所对 应的类别 信息， 所述类别 信息包括gear类别 信息、 beari ng类别信息和nut类别 信息。 9.一种基于G ‑YOLO神经网络的工业零件检测装置， 包括存储器、 处理器以及存储在所 述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 当所述处理器执行所述 计算机程序时， 实现如权利要求 1至6任一项 所述的基于 G‑YOLO神经网络的工业零件检测方 法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 当所述计算机程序被处理器执行时， 实现如权利要求1至6任一项所述的基于G ‑YOLO神 经网络的工业 零件检测方法。权　利　要　求　书 2/2 页 3 CN 115239643 A 3