(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210869316.9 (22)申请日 2022.07.22 (71)申请人 中国科学技术大学 地址 230000 安徽省合肥市金寨路96号 申请人 中国科学院合肥物质科 学研究院 (72)发明人 康宇　陈佳艺　刘文清　曹洋　 张玉钧　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 何静 (51)Int.Cl. G06V 20/54(2022.01) G06V 20/62(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种跨车道黑烟车抓拍方法、 系统及 存储介 质 (57)摘要 本发明公开了一种跨车道 黑烟车抓拍系统， 属于环境监测领域。 本发明基于视频的跨车道车 辆识别中， 将一个完整的图像序列看作一个点 集， 用庞贝 ‑豪斯多夫距离度量两个图像序列的 相似性。 由于其只考虑两个集之间的距离， 可 以 自动丢弃同一图像序列中的度量对， 则可以排除 同标签中异常值的影响； 同时， 松弛的庞贝 ‑豪斯 道夫距离度量通过放松单向距离的最大约束， 自 动选择两个点集的第k个最佳匹配点， 可 以减轻 同标签中异常值的影响， 同时可以避免由于最大 距离而导致的由标签噪声引起的度量对， 避免异 常值和标签噪声 对网络的优化产生 不利的影响。 权利要求书2页 说明书8页 附图1页 CN 115272989 A 2022.11.01 CN 115272989 A 1.一种跨车道黑烟车抓拍方法， 其特 征在于， 包括以下步骤： 步骤1： 提取多车道摄像头捕捉的数据集中的图片数据， 获得黑烟检测数据集和车辆数 据集； 步骤2： 对黑烟检测数据集中的图片数据进行 特征提取与融合， 构建黑烟检测模型； 步骤3： 选择ResNet ‑50作为骨干网络构建网络模型， 对车辆数据集中的图片序列进行 共性特征提取； 定义基于集合的庞贝 ‑豪斯多夫距离学习损失为三元组损失， 通过三元组损 失和ID损失对ResNet ‑50网络模型进行优化， 并通过训练得到车辆识别模型； 步骤4： 选取黑烟车数据集中测试集部分的待检测图片， 输入黑烟检测模型， 判断其中 是否存在黑烟车； 若存在， 则将截取的黑烟柴油车区域作为查询集图片， 与跨车道车辆数据 集中的图库集图片一 起输入车辆识别模型中； 若跨车道车辆 图库集中包含查询集的车辆， 则返回从图库集中截取的该车辆的图片， 并由此未被黑烟遮挡视角的图片， 获取排 放黑烟的柴油车的车牌信息 。 2.根据权利要求1所述的跨车道黑烟车抓拍方法， 其特征在于， 所述步骤1中， 用过边界 框框选车及其排放的黑烟区， 提取黑烟区数据集， 将所述黑烟区数据集训练集、 验证集和测 试集。 3.根据权利要求1所述的跨车道黑烟车抓拍方法， 其特征在于， 包含同一辆车的视频归 属于同一车辆ID下， 截 取关键帧图片， 组成包含时空信息 关联的图片序列， 对每个轨迹的边 界框进行标注， 每个轨迹的边界框中包含一个车辆ID， 得到包含不同边界框的图像序列， 构 成所述的跨车道车辆数据集。 4.根据权利要求1所述的跨车道黑烟车抓拍方法， 其特征在于， 所述的黑烟检测模型包 括： 主干网络； 结合金字塔池化和路径聚合网络的特 征金字塔模块， 以及 检测器， 检测特征金字塔提取出的特征层进， 得到预测框的位置， 而后对每个预测框含 有黑烟的概 率使用非极大值抑制， 得分最高的预测框为检测目标的位置 。 5.根据权利要求1所述的跨车道黑烟车抓拍方法， 其特征在于， 所述步骤3 中， 将一个图 像序列看作一个点 集， 用庞贝 ‑豪斯多夫距离度量两个图像序列的相似性。 6.根据权利要求1所述的跨车道黑烟车抓拍方法， 其特征在于， 所述步骤3 中， 通过随机 选择P类车辆ID， 每 类随机选择K个图像， 形成包 含P*K个图像的批； 定义 三元组损失函数为： 其中， τ表示裕量， 脚标a、 p和n分别表示锚框、 正样本和负样本， 表示庞贝 ‑豪斯多夫距离集合中 第k个最大值； 所述三元组损失函数叠加ID损失函数与中心损失函数， 获得所述车辆识别模型的损失 函数。 7.根据权利要求6所述的跨车道黑烟车抓拍方法， 其特 征在于， 所述 ID损失函数： 其中， N、 qi、 pi、 y分别表示： 类别的数量、 i类的标签平滑参数、 i类的预测逻辑值和真实权　利　要　求　书 1/2 页 2 CN 115272989 A 2的ID标签。 8.根据权利要求6所述的跨车道黑烟车抓拍方法， 其特 征在于， 所述中心损失函数： 其中， yj是mini‑batch中的第j个图像的标签， 表示批归一化层归一化之前的特征， 为深度特 征的第yj个类中心， B为 一次训练所选取的样本数。 9.一种车辆识别系统， 包括： 提取车辆图片数据的特 征信息的主网络； BNNeck层， 配置有基于集 合的庞贝 ‑豪斯多夫距离学习损失为 三元组损失函数； 以及 分类器全连接层。 10.一种计算机可读的存储介质， 存储有指令， 其特征在于， 所述指令执行时， 能够实现 权利要求1～8任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115272989 A 3