(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210798462.7 (22)申请日 2022.07.08 (71)申请人 苏州东大 金点物联科技有限公司 地址 215600 江苏省苏州市张家港经济技 术开发区港城大道中兴 路口 (72)发明人 常徐　唐红锋　林巍峣　何天尧　 (74)专利代理 机构 上海交达专利事务所 31201 专利代理师 王毓理　王锡麟 (51)Int.Cl. G06V 20/00(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/77(2022.01) G06V 10/766(2022.01)G06V 10/764(2022.01) G06V 10/40(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于多层融合边缘增强颈部网络的目标检 测优化实现方法及系统 (57)摘要 一种基于多层融合边缘增强颈部网络的目 标检测优化实现方法及系统， 通过对骨干网络从 图像中提取得到五层输入特征， 将其中第二至第 五层特征使用反向融合路径和正向融合路径进 行优化特征融合， 得到三层输出特征， 再经目标 分类和回归网络， 得到优化检测结果。 本发明利 用神经网络不同层针对高层次和低层次特征提 取能力差异， 即浅层网络在提取图像轮廓、 边缘、 纹理等低层特征的优势， 以及浅层特征分辨率高 的特点， 将浅层有价值的信息融合进高层特征， 来进行后续的检测和分类任务。 通过对高分辨率 和边缘信息的利用， 颈部网络可以更好地应对小 尺寸和透明目标的检测问题， 提升准确率的同时 不受数据的限制。 权利要求书3页 说明书7页 附图3页 CN 115035394 A 2022.09.09 CN 115035394 A 1.一种基于多层融合边缘增强颈部网络的目标检测优化实现方法， 其特征在于， 通过 对骨干网络从图像中提取得到五层输入特征， 将其中第二至第五层特征使用反向融合路径 和正向融合路径进 行优化特征融合， 得到三层输出特征， 再经目标分类和回归网络， 得到优 化检测结果； 所述的第二至第五层特征是指： 通过常用的目标检测特征提取骨干网络提取得到的最 后四层特征， 其中： 浅层的特征具有 大分辨率和小通道数， 每深入一层特征的通道数将扩大 一倍， 而分辨 率将减小一半； 最终将得到四个分辨 率和通道数 各不相同的特 征。 2.根据权利要求1所述的基于多层融合边缘增强颈部网络的目标检测优化实现方法， 其特征是， 所述的优化特征融合是指： 从第五至第二层特征， 逐层 进行上采样压缩深层特征 的通道数并且扩大分辨率与浅层网络特征拼接， 直到第二层特征为止， 实现由深到浅的反 向融合路径； 融合至最浅层特征后， 通过下采样减小分辨率， 从而与反向融合路径中的第三 至第五层特征进行拼接， 实现由浅到深的正向融合路径， 具体包括： 对第三至第五层特征分 别进行上采样处理后分别 ①与第二层特征融合并通过采用残差学习方式的边缘增强后再 进行下采样处理， 以及 ②直接进行采用残差学习方式的边缘增强后与路径 ①得到的下采样 特征融合， 得到中间特征； 将中间特征依次进行一次下采样、 二次下采样并与第四层特征上 采样后的结果融合、 三次下采样并与第 五层特征上采样后的结果融合， 得到对应的三层输 出特征。 3.根据权利要求2所述的基于多层融合边缘增强颈部网络的目标检测优化实现方法， 其特征是， 所述的上采样， 具体包括： ①对于输入维度为W ×H×C的特征， 首先通过一个CSP层将通道数减半， 输出的特征维 度为： W×H×C/2； ②对于CSP层输出的维度为W ×H×C/2的特征， 通过卷积核为1、 步长为1的卷积层进行 进一步的特征提取， 输出的特 征1维度为： W ×H×C/2； ③对于卷积层输出的维度为W ×H×C/2的特征， 通过最邻近插值的方法将特征上采样 一倍， 输出的特 征维度为： 2W ×2H×C/2。 4.根据权利要求2所述的基于多层融合边缘增强颈部网络的目标检测优化实现方法， 其特征是， 所述的下采样， 具体包括： ①对于输入维度为W ×H×C的特征， 首先通过最邻 近插值的方法将特征下采样一倍， 输 出的特征维度为： W/2 ×H/2×C； ②对于下采样得到 的维度为W/2 ×H/2×C的特征， 使用CSP层进一步提取特征， 输出的 特征维度为： W/2 ×H/2×C。 5.根据权利要求3或4所述的基于多层融合边缘增强颈部网络的目标检测优化实现方 法， 其特征是， 所述的CSP层接收一个维度为W ×H×C的特征后， 分别： ①通过两个1 ×1卷积 和一个3×3卷积提取特征， 此外设置一条残差连接将第一个1 ×1卷积的数据结果叠加到3 ×3卷积的结果上； ②经过一个1 ×1卷积， 并于第一条分支的结果进行通道维度的拼接； 拼 接后的结果将通过一个3 ×3卷积得到 输出结果， 输出的特 征维度为： W ×H×C。 6.根据权利要求2所述的基于多层融合边缘增强颈部网络的目标检测优化实现方法， 其特征是， 所述的采用残差学习 方式的边缘增强， 包括两条支路， 具体为： ①对输入特征进 行全等映射， 以及 ②首先对输入特征通过高斯滤波器进行高斯模糊操作， 得到弱化无关边权　利　要　求　书 1/3 页 2 CN 115035394 A 2缘信息的特征， 再通过Sob el算子对该特征进行卷积， 得到该特征的梯度图； 基于特征梯度 图， 计算其相位图和幅度图， 在通道维度进 行拼接， 最后输入一个3 ×3卷积进行通道维度的 压缩， 压缩到一 维， 作为边缘增强信息叠加到 分支①中全等映射的输入特征上， 实现特征的 边缘增强。 7.一种实现权利要求1～6中任一所述方法的基于多层融合边缘增强颈部网络的目标 检测系统， 其特征在于， 包括： 骨干神经网络、 多层融合边缘增强颈部网络和检测网络， 其 中： 骨干神经网络根据输入的图像数据， 提取图像中不同尺度和语义的五层特征并将其中 第二至第五层特征分别输出至多层融合边缘增强颈部网络， 多层融合边缘增强颈部网络充 分融合高层的语义信息与低层的高分辨率和边缘特征并得到三层输出特征， 检测网络根据 三层输出 特征进行目标框预测。 8.根据权利要求7所述的基于多层融合边缘增强颈部网络的目标检测系统， 其特征是， 所述的多层融合边缘增强颈部网络包括： 三个上采样模块、 两个边缘增强模块、 三个下采样 模块， 其中： 第一上采样模块根据骨干神经网络的第五层特征， 通过CSP层、 卷积层以及上采 样层处理， 得到通道压缩一倍， 分辨率扩大一倍的特征并输出至第二上采样模块， 第二上采 样模块根据第一上采样模块输出和骨干神经网络第四层特征在通道维度拼接后的信息， 进 行CSP层、 卷积层以及上采样层处理， 得到特征并输出至第三上采样模块； 第三上采样模块 根据第二上采样 输出和骨干神经网络第三层特征在通道维度拼接后的信息， 进 行CSP层、 卷 积层以及上采样层处理， 得到特征并输出至第一边缘增强模块； 第一边缘增强模块根据第 三上采样模块输出和骨干神经网络第二层输出特征在通道维度拼接的结果信息， 进行特征 边缘增强处理， 得到第一边缘增强特征； 第二边缘增强模块根据第三上采样模块中卷积层 的输出信息， 进行特征边缘增强处理， 得到第二边缘增强特征； 第一下采样模块根据第一边 缘增强特征， 进行下采样层和 CSP层处理， 得到第一下采样模块输出结果； 第二下采样模块 根据第二边缘增强特征和第一下采样模块输出在通道维度拼接后的信息， 进行CSP层和卷 积层处理， 得到第二下采样模块输出结果； 第三下采样模块根据第二下采样模块输出和第 一上采样模块卷积层输出在通道维度拼接得到的特征， 进 行CSP层和卷积层处理处理， 得到 的第三下采样特征与第一上采样模块的卷积层输出在通道维度拼接， 在最后经过CSP层处 理得到最 终特征； 所述的最 终特征， 第二和第三下采样模块的CSP层输出将作为颈部网络的 多尺度输出。 9.根据权利要求7所述的基于多层融合边缘增强颈部网络的目标检测系统， 其特征是， 所述的检测网络包括： 目标分类和回归网络以及非极大抑制模块， 其中： 目标分类和回归网 络分别根据三个颈部网络的多尺度输出得到的特征进 行三层卷积层处理， 得到所有候选框 的类别和位置结果， 非极大抑制模块根据候选框信息， 进行重叠框去除处理， 得到最 终的目 标检测的位置和类别结果。 10.一种基于权利要求7～9中任一所述系统的目标检测方法， 其特征在于， 包括离线阶 段的网络训练和在线阶段的目标检测， 其中在线阶段的目标检测， 包括以下步骤： 第一步： 图像预处理： 输入任意大小的图像， 将图像长边缩放到640， 短边保证长宽比进 行缩放， 缩放后的图像置于左上角， 剩下部分填充RGB颜色值均为114的灰色， 填补至640 × 640大小； 第二步： 特征提取： 采用DarkNet53， 分别提取dark2、 dark3、 dark4和dark5层的特征； 其权　利　要　求　书 2/3 页 3 CN 115035394 A 3