(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210706467.2 (22)申请日 2022.06.21 (71)申请人 智洋创新科技股份有限公司 地址 255000 山东省淄博市高新区青龙山 路9009号仪器仪表产业园10号楼 (72)发明人 张亚辉　张健　王书堂　徐传伦　 王飞　 (74)专利代理 机构 济南竹森知识产权代理事务 所(普通合伙) 37270 专利代理师 刘宏广 (51)Int.Cl. G06V 20/62(2022.01) G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种指针式仪表读数识别方法及系统 (57)摘要 一种指针式仪表读数识别方法及系统， 涉及 计算机视觉技术领域， 包括以下步骤： S1、 获取指 针式仪表图像， 构建指针式仪表图像数据集； S2、 构建指针式仪表刻度值检测网络模 型， 利用指针 式仪表图像数据集对指针式仪表刻度值检测网 络模型进行训练； S3、 构建指针式仪表关键点检 测网络模型， 利用指针式仪表图像数据集对指针 式仪表关键点检测网络模型进行训练； S4、 利用 训练好的指针式仪表刻度值检测网络模型对待 识别的指针式仪表图像进行刻度值预测； S5、 利 用训练好的指针式仪表关键点检测网络模型对 待识别的指针式仪表图像进行关键点预测； S6、 根据指针式仪表刻度值和关键点的预测结果， 对 预测结果进行后处理分析， 获取当前指针式仪表 读数。 权利要求书3页 说明书9页 附图4页 CN 115019294 A 2022.09.06 CN 115019294 A 1.一种指针式仪表读数识别方法， 其特 征在于， 包括： S1、 构建指针 式仪表图像数据集： 分别 对指针式仪表图像进行标注， 对应形成标注完成 的指针式仪表刻度值数据集和标注完成的指针式仪表关键点数据集； S2、 构建指针式仪表刻度值检测网络模型： 利用标注完成的指针式仪表刻度值数据集 对指针式仪表刻度值检测网络模型进行训练； 构建指针式仪表关键点检测网络模型： 利用标注完成的指针式仪表关键点数据集对指 针式仪表关键点检测网络模型进行训练； S3、 利用训练好的指针 式仪表刻度值检测网络模型对待识别的指针 式仪表图像进行刻 度值预测； 利用训练好的指针式仪表关键点检测网络模型对待识别的指针式仪表图像进行关键 点预测； S4、 根据步骤S3的预测结果进行后处理分析， 获取待识别的指针式仪表图中当前指针 式仪表读数。 2.根据权利要求1所述的一种指针 式仪表读数识别方法， 其特征在于， 所述步骤S1中构 建指针式仪表图像数据集具体包括： S11、 利用摄 像头拍摄指针式仪表图像； S12、 获取 各摄像头拍摄的视频， 并收集 不同时间段 下的视频流； S13、 采用抽帧的方法对收集到的视频流进行处 理， 得到若干张图片； S14、 将所有收集到的图片汇总， 将包含指针式仪表图像的所有图片筛选出来制作未标 注的指针式仪表图像数据集； S15、 标注指针式仪表图像数据集： 利用开源标注工具Labelimg对未标注的指针式仪表图像数据集各图片中的表盘刻度 值进行标注， 标注类别即为表盘刻度值， 形成标注完成的指针式仪表刻度值数据集； 利用开源标注工具Labelme对未标注的指针式仪表图像数据集各图片中的表盘刻度、 指针针头、 指针 针尾进行标注， 形成标注完成的指针式仪表关键点数据集。 3.根据权利要求1所述的一种指针式仪表读数识别方法， 其特征在于， 在步骤S2中， 所 述指针式仪表刻度值检测网络模型， 包括： 在yolov5目标检测算法中添加ASFF自适应特征 融合模块， 用于对上层的输出 特征层进行加权融合； 所述ASFF自适应特 征融合模块采用公式： 将上层的输入特征 分别乘上各自对应的权重参数 得 到下一层的特征融合图 权重参数 经过降维之后通过softmax函数使得 它们的范围都在[0,1]内并且和为1。 4.根据权利要求3所述的一种指针式仪表读数识别方法， 其特征在于， 在步骤S2中， 所 述指针式仪表关键点检测网络模型： 在步骤S15中， 通过标注出的表盘刻度、 指针针头和指 针针尾分别为指针式仪表刻度特 征层、 指针式仪表针头特 征层和指针式仪表针 尾特征层；权　利　要　求　书 1/3 页 2 CN 115019294 A 2对于指针式仪表刻度特征层， 利用Associative  Embedding后处理方法提取指针式仪 表刻度关键点； 对于指 针式仪表针头特征层和指针式仪表针尾特征层则提取特征图中最大 特征值所在的位置作为指针式仪表针头关键点和指针式仪表针 尾关键点。 5.根据权利要求1所述的一种指针式仪表读数识别方法， 其特征在于， 在步骤S3中， 所 述利用训练好的指针式仪表刻度值检测网络模型对待识别的指针式仪表图像进行刻度值 预测， 具体包括： 将待识别的指针式仪表图像输入到训练好的指针式仪表刻度值检测网络模型中进行 特征提取， 并根据提取的特 征， 对不同的输出层进行自适应的特 征融合： 对指针式仪表图像中的表盘上的刻度值的位置以及类别进行检测， 得到指针式仪表图 像中的表盘上的刻度值的位置以及类别 信息。 6.根据权利要求1所述的一种指针式仪表读数识别方法， 其特征在于， 在步骤S3中， 所 述利用训练好的指针式仪表关键点检测网络模型对待识别的指针式仪表图像进行关键点 预测， 具体包括： 将待识别的指针式仪表图像输入到训练好的指针式仪表关键点检测网络模型中进行 特征提取， 并根据提取的特征经过Associative  Embedding后处理可以直接得到这些关键 点信息： 对指针式仪表图像中的表盘刻度、 指针针头、 指针针尾的位置以及类别进行检测， 得到 指针式仪表图像中的表盘刻度、 指针 针头、 指针 针尾的位置以及类别 信息。 7.根据权利要求1所述的一种指针 式仪表读数识别方法， 其特征在于， 步骤S4的具体步 骤包括： S41、 针对指针式仪表刻度值检测模型的每一个刻度值预测结果， 即刻度值的位置， 按 顺时针排列且 遵从从小到大的原则判断： 如果刻度值的位置遵从上述原则， 则所述刻度值预测结果 正确； 如果刻度值的位置未遵从上述原则， 则所述刻度值预测结果错误， 剔除该刻度值预测 结果； 然后遍历指针 式仪表关键点检测模型的每一个预测结果， 分别计算所述刻度值的位置 和每一个表盘刻度关键点的距离： 取最小距离的关键点和该刻度值的位置相对应， 即该关 键点所代 表的刻度值； S42、 所有刻度值都和关键点 一一对应之后， 则按照顺时针方向遍历所有的关键点： 如果存在一个关键点没有对应的刻度值， 但是其左右 的关键点都有刻度值， 设左边关 键点刻度值 为Sn‑1、 右边关键点刻度值 为Sn+1， 则该关键点的刻度值Sn＝(Sn‑1+Sn+1)/2； 一遍遍历后， 如果还 存在没有对应刻度值的关键点， 则 删除该关键点信息； S43、 遍历所有余下的有对应刻度值的关键点， 计算关键点位置到指针针头、 针尾线段 的最小距离， 找出指针两边的关键点： 设指针左边关键点到指针的最小距离为Sdn‑1， 刻度值为Sn‑1； 指针右边关键点到指针的 最小距离为Sdn+1， 刻度值为Sn+1； 则当前指针式仪表的读数为Sn＝(Sn+1+Sdn+1*Sn‑1/Sdn‑1)/(1 +Sdn+1/Sdn‑1)， 得到当前指针表读数 结果。 8.一种加载如权利要求1 ‑7任意一项所述识别方法的系统， 其特 征在于， 包括： 图像采集模块、 加载有指针式仪表刻度值检测网络模型和指针式仪表关键点检测网络权　利　要　求　书 2/3 页 3 CN 115019294 A 3