(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210777879.5 (22)申请日 2022.07.04 (65)同一申请的已公布的文献号 申请公布号 CN 114882455 A (43)申请公布日 2022.08.09 (73)专利权人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 夏景明　周耀　谈玲　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 陈月菊 (51)Int.Cl. G06V 20/54(2022.01) G06V 40/10(2022.01)G06V 10/22(2022.01) G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 110689724 A,2020.01.14 CN 107730906 A,2018.02.23 CN 112633228 A,2021.04.09 Jialiang Ma等. “Dual Refi nement Feature Pyramid Netw orks for Object Detection”. 《arXiv》 .2020, 审查员 王丹丹 (54)发明名称 基于改进RetinaNet的斑马线 礼让行人检测 方法 (57)摘要 本发明公开了一种基于改进RetinaNet的斑 马线礼让行人检测方法， 包括： 将样本图像数据 集导入基于RetinaNet网络构建的斑马线 礼让行 人检测模型； 采用目标识别模块识别导入的样本 图像中的斑马线、 以及位于斑马线上的行人和车 辆； 采用警示框生成模块对检测识别到的行人添 加检测框， 并依据行人前进 方向复制对应的检测 框直至检测框到达当前行人所处位置对应的最 远边线， 将行人对应的所有检测框定义为警示 框； 采用违章检测模块对检测识别到的车辆添加 检测框， 判断车辆对应的检测框与行人对应的警 示框是否存在交集， 以判定车辆是否礼让行人。 本发明有效提高了斑马线礼让行人检测的准确 率和速度。 权利要求书2页 说明书8页 附图4页 CN 114882455 B 2022.09.27 CN 114882455 B 1.一种基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在于， 所述斑马线礼让 行人检测方法包括以下步骤： S1， 对斑马线处的行人图像进行采集， 对采集到的样本图像进行预处理以调整图像尺 寸， 生成样本图像数据集； S2， 将样本图像数据 集导入基于RetinaNet网络构 建的斑马线礼让行人检测模型， 对模 型进行训练； 斑马线礼让行人检测模型包括 目标识别模块、 警示框生成模块和违章检测模 块； S3， 采用目标识别模块识别导入的样本图像中的斑马线、 以及位于斑马线上的行人和 车辆； S4， 采用警示框生成模块对检测识别到的行人添加检测框， 并依据行人前进方向复制 对应的检测框直至检测框到达 当前行人所 处位置对应的最远边线， 将行人对应的所有检测 框定义为警示框； 最远边线为与行人所在位置对应的单向交叉车道的远离行人起点的边 线； S5， 采用违章检测模块对检测识别到的车辆添加检测框， 判断车辆对应的检测框与行 人对应的警示框是否存在交集， 如果存在交集， 则判定车辆未礼让行人， 否则， 判定车辆为 正常行驶； 所述目标识别模块包括特征提取模块、 特征融合模块、 特征增强模块、 自适应特征池化 模块、 编码器、 注意力模块和分类模块； 所述特征提取模块用于对导入的样本图像进行图像特征提取； 特征融合模块用于对特 征提取模块提取的图像特征进 行上采样处理； 特征增强模块用于对特征融合模块输出结果 进行下采样处理， 以增强其中包含的网络浅层细节特征； 自适应特征池化模块用于将特征 增强模块中每一层得到的proposal分别和其他层的proposal作ROI  Align处理， 将单层特 征替换为多层特征； 所述注意力模块用于将自适应特征池化模块输出的特征图沿着空间和 通道两个维度依 次推断出注意力权重， 再与原特征图相乘来对图像特征进行自适应调整， 增强斑马线、 行人、 车辆相关特征信息， 减弱其他特征信息； 所述编码器用于对自适应特征 池化模块输出的融合后的特征图进行减少参数 处理； 所述分类模块用于对注意力模块和 编 码器两者的输出 结果进行拼接， 对拼接结果进行分类， 识别得到目标类别和目标位置信息 。 2.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在 于， 如果斑马线对应的道路为双向车道， 当行人自斑马线的第一端部向第二端部行进， 且未 到达道路中间位置时， 最远边线为道路中线； 当行人到达并越过道路中线时， 最远边线为斑 马线的第二端部 。 3.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在 于， 所述特征增强模块包括自底而上设置的多个增强单元； 每个增强单元均包括add融合 层， 以及与ad d融合层分别连接的3 *3深度可分离卷积层和3 *3卷积层； 所述3*3深度可分离卷积层的卷积核尺寸为3*3， 步长为2， 用于对特征提取模块提取的 第k层的图像特征Pk进行卷积处理后发送至add融合层； 所述3*3卷积层的卷积核尺寸为3* 3， 步长为2， 用于对第k ‑1个增强单元的下采样特征图Nk ‑1进行卷积处理后发送至add融合 层； 所述add融合层对3*3深度可分离卷积层和3*3卷积层进行add融合， 生成下采样特征图 Nk。权　利　要　求　书 1/2 页 2 CN 114882455 B 24.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在 于， 所述自适应特征池化模块将特征增强模块中每一层得到的proposal分别和其他层 的 proposal作ROI归一 化处理， 将单层特 征替换为多层特 征的过程包括以下步骤： 对于特征增强模块输出的每个proposal， 将它们映射到不同的特征级别， proposal越 大， 特征级别越大， 采用ROI  Align从每个级别汇集特 征； 将每个经过ROIAlign获得的特征图采用深度可分离卷积， 再将不同层次的特征图进行 特征融合。 5.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在 于， 所述编码 器分为三层， 第一层 采用1×1卷积核将通道降维， 使其缩小为输入通道数的四 分之一， 激活函数为Relu； 第二层 采用两个 分支对第一层的输出结果进 行特征提取， 再将两 个分支提取的特征进 行concat 拼接； 第三层采用3 ×3的深度可分离卷积对第二层的输出结 果进行特征提取。 6.根据权利要求5所述的基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在 于， 所述第二层 包括第一分支和第二分支， 第一分支采用1 ×1卷积核， 第二分支采用3 ×3卷 积核； 其中， 在1 ×1卷积核中将输出通道升维， 使其扩 大为输入通道数的4倍； 在3 ×3卷积核 中通过修改填充的大小和步幅长度， 使输出特征达到与输入特征图的高宽尺寸相同， 同时 将输出通道升维， 扩大为输入通道的4 倍。 7.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在 于， 所述注意力模块增强斑马线、 行人、 车辆相关特征信息， 减弱其他特征信息的过程包括 以下步骤： 将经过自适应特征池化融合后的特征F1∈RC×W×H进行维度变换， 使其变换成RW×H×C， 其 中， C表示 通道数， H表示输入特 征映射的高， W表示输入特 征映射的宽； 将特征输入到多层感知机中， 多层感知机分为两层， 第一层和第二层通道数分别为C/ 16和C； 将多层感知机的输出进行维度变换， 将其由RW×H×C变换为RC×W×H； 使用sigmo id激活函数计算得到通道 注意力的权 重矩阵Mc(F1)， Mc(F1)∈RC×W×H； 将权重矩阵Mc(F1)和特 征F1进行F2运算后， 得到新的权 重矩阵F2， ； 表示元素级乘法； 将权重矩阵F2进行两次卷积核为7 ×7的卷积， 第一次卷积将通道降维， 通道缩小r倍， 第二次卷积升维， 通道扩大r倍， 将得到的特征使用sigmoid函数来计算得到空间注意力的 权重矩阵Ms(F2)， 其中， M c(F2)∈RC×W×H； 将Ms(F2)与F2进行 F3运算后， 得到新的权 重矩阵F3； 其中， F3运 算为 。 8.根据权利要求1所述的基于改进RetinaNet的斑马线礼让行人检测方法， 其特征在 于， 所述目标识别模块的损失函数 FL(pt)为： FL(pt)＝‑αt(1‑pt)γlog(pt) 其中， αt为抑制正负样本的数量失衡的影响参数； pt为正样本的概率； γ为控制简单/难 区分样本数量失衡的影响参数。权　利　要　求　书 2/2 页 3 CN 114882455 B 3