(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210756317.2 (22)申请日 2022.06.29 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# (72)发明人 陈海永　史世杰　谭江恒　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 张国荣 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于轻量化YOLO v5网络模型与时空记忆机 制的行人检测方法 (57)摘要 本发明公开了一种基于轻量化YOLO  v5网络 模型与时空记忆机制的行人检测方法， 该行人检 测方法采用轻量化YOL O v5网络， 将原版YOL O v5 模型的Foucs层替换为卷积层以及将主干网络中 的卷积替换为通道随机混合的分组卷积来轻量 化模型， 并利用时空记忆机制对网络检测结果进 行修正， 减少误识别， 利用修正的检测结果进行 行人位置检测， 降低了模型的误识别率且减少了 模型的硬件开销并提高了处理速度。 采用本发明 行人检测方法在数据集测试结果为： 误识别率从 7％降低至1％， 处 理速度从5 6FPS提升到74FPS。 权利要求书2页 说明书11页 附图8页 CN 115116137 A 2022.09.27 CN 115116137 A 1.基于轻量化YOLO  v5网络模型与时空记忆机制的行人检测方法， 其特征在于， 该方法 包括如下步骤： 第一步： 构建训练数据库 1)采集监测地点不同场景的图像， 图像采集的场景包括晴天、 阴天、 雨天和 夜晚； 根据 行人距离摄像头的远近将采集到的图像中的人物目标划分为不同尺寸， 其中面积小于32* 32像素为小尺寸目标， 在32*32 像素至96*96像素之间为中尺寸目标， 大于96*96像素为大尺 寸目标； 按以上三种人物目标尺寸1:1:1的数量比挑选出图像， 并对挑选出的图像进 行数据 增强， 最后进行图像尺寸统一 化操作， 获得原 始数据集； 2)数据集划分： 对步骤1)中得到的原始数据集采用人工的方式添加标签， 用矩形框分 别标记出图像中的人物目标和围墙， 并且按一定数量比例随机将原始数据集中的图像划分 训练集和验证集； 第二步： 构建轻量 化YOLO v5网络模型 1)训练集的预处 理： 对第一 步的步骤2)中得到的训练集进行 数据增强； 2)搭建轻量 化YOLO v5网络模型 轻量化YOLO  v5网络模型为YOLO  v5网络模型的改进结构， 具体的， 为将YOLO  v5网络模 型的主干网络中顺接的Foucs模块、 CBL模块、 CSP1_1模块、 CBL模块、 CSP 1_3模块、 CBL模块、 CBL模块、 CSP 1_3模块、 CBL模块、 CBL模块、 CBL模块、 SPP模块、 CBL模块替换成顺接的2个CBL 模块、 SFB1模块、 2 个SFB2模块、 SFB1模块、 7个SFB 2模块、 SFB1模块、 SFB 2模块、 CBS 模块； 轻量 化YOLO v5网络模型的主干网络部分的输入 首先输入到第一个CBL模块中， 第二个SFB2模块 的输出分别输入到与其顺接的SFB1模块和Neck网络部分的第一个CBL模块， CBS模块的输出 输入到YOLO  v5网络模 型的主干网络中的CSP2 _1模块中， 轻量化YOLO  v5网络模型的其它部 分结构与YOLO  v5网络模型相同； 3)训练网络 采用在ImageNet得到 的预训练权重初始化主干网络， 使用kaiming正态分布初始化卷 积层参数， 网络的其余部分采用Xavier初始 化； 设置随训练代数呈阶梯下降的学习率， 前50 代冻结主干网络参数； 将步骤1)中完成预处理的训练集输入到完成初始化的轻量化YOLO  v5网络模型中， 利 用主干网络部 分进行特征提取与融合， 利用分类和回归网络， 得到人物目标的位置、 类别和 置信度， 以及围墙的位置与置信度， 将其与真实标签对比得到Loss值； 根据Loss值采用SGD 优化器， 进行反向传播更新网络参数， 直至L oss下降至预设， 网络模型训练完成； 4)网络模型验证 对第一步的步骤2)中得到的验证集输入到步骤3)中完成训练的网络模型中， 将网络模 型输出的检测标签与真实标签对比， 得到误识别率， 当误识别率不大于10％时， 保存网络模 型当前参数， 该网络模型为有效模型； 当误识别率大于10％时， 调整网络模型的初始参数， 重新训练网络直至Loss下降至预设值， 且验证集的误识别率不大于10％， 保存网络模型当 前参数， 当前网络模型即为有效模型， 网络模型验证完成； 第三步： 利用轻量 化YOLO v5网络模型与时空记 忆机制模块进行 行人位置检测 1)获取初步检测结果 将摄像头捕获到的视频流按帧输入到第二步中完成验证的轻量化YOLO  v5网络模型权　利　要　求　书 1/2 页 2 CN 115116137 A 2中， 得到视频的帧序列图像的检测结果， 每一幅图像的检测结果包括人物目标的位置、 类别 和置信度， 以及围墙的位置与置信度， 该检测结果 为初步检测结果； 2)获取修 正的检测结果 将初步检测结果输入到时空记 忆机制模块中， 时空记 忆机制原理如下： 其中Pn+1表示视频序列图像的第n+1 帧图像中人物目标的置信度； Δx和Δy分别表示第 n+1帧图像与第i帧图像中最临近人物目标的x轴和y轴的变化值， 取值范围均为0～+∞； Pi 表示网络模型输出的第i帧图像中的人物目标的置信度； 表示向上 取整； 上式中， f(x)表达式如下： 将时空记忆机制模块输出的预测下一帧图像中的人物目标的置信度替换掉对应帧的 初步检测结果中的置信度， 得到修 正的检测结果； 3)行人位置检测 根据步骤2)中修正的检测结果中检测出的人物目标和围墙， 当人物目标的轨迹与设定 的围墙警戒线发生交叉或者低于某个阈值时， 可判定为翻墙行为或者违规隔墙取物行为； 以视频画面的左 上角为坐标原点分别向右、 向下设置x轴、 y轴正方向， 建立二维坐标系， 围 墙的位置由人工给定， 围墙警戒线近似为一条直线； xi,yi表示检测到的人物目标在同一坐 标系下的坐标； 其原理如下： f(x,y)＝Ax+By+C＝0 表示围墙警戒线的位置， 若 则表明有翻墙 嫌疑； 若 |f(xi,yi)|＜t 则表明有隔墙取物嫌疑； 其中xi,yi表示检测到第i帧图像中的人物目标 的位置坐标， t 表示设定的阈值， A、 B、 C为人工给定围墙位置时计算得到的常数参数。 2.根据权利要求1所述的基于轻量化YOLO  v5网络模型与 时空记忆机制的行人检测方 法， 其特征在于， 第一 步的步骤1)中， 图像数据增强的方式有镜像、 剪 裁、 平移和缩放。 3.根据权利要求1所述的基于轻量化YOLO  v5网络模型与 时空记忆机制的行人检测方 法， 其特征在于， 第一 步的步骤2)中， 训练集与验证集中的图像数量比为7： 3 。 4.根据权利要求1所述的基于轻量化YOLO  v5网络模型与 时空记忆机制的行人检测方 法， 其特征在于， 第二 步的步骤1)中， 训练集进行 数据增强方式为Mosaic数据增强。权　利　要　求　书 2/2 页 3 CN 115116137 A 3