(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210818058.1 (22)申请日 2022.07.13 (65)同一申请的已公布的文献号 申请公布号 CN 114998701 A (43)申请公布日 2022.09.02 (73)专利权人 山东智驱力人工智能科技有限公 司 地址 250013 山东省济南市历下区山大路 160号山东人工智能产业园5楼5 05-12 (72)发明人 李忠涛　袁朕鑫　肖鑫　赵帅　 杨磊　戈川　陆莹莹　程文轩　 刘圣勇　赵光龙　李雅其　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 邓建国(51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 113298844 A,2021.08.24 US 201310 0286 A1,2013.04.25 CN 114359742 A,202 2.04.15 审查员 崔小利 (54)发明名称 基于像素特征匹配的目标检测损失优化方 法 (57)摘要 本发明提供了一种基于像素特征匹配的目 标检测损失优化方法， 涉及图像识别目标检测领 域。 本发明根据特征提取和融合过程中下采样操 作对图像像素特征的损失， 从像素特征角度入 手， 对模型特征提取和融合后的特征图上采样融 合， 评估预测框和真实框在特征图上的映射区域 的Dice距离， 通过细化预测框和真实框的特征差 异进而优化模 型参数， 采用巴氏距离计算预测框 和真实框直方图分布相似度， 增强模 型对像素级 别差异的感知， 更直观的评估模型泛化效果， 进 而提高模型预测框预测的准确度。 本发明中， 提 出基于像素特征匹配损失弥补目标检测网络中 直接框回归损失计算的不足， 在不增加模型参数 量的基础上提高了模型的鲁棒 性。 权利要求书1页 说明书4页 附图2页 CN 114998701 B 2022.11.18 CN 114998701 B 1.基于像素 特征匹配的目标检测损失优化方法， 其特 征在于， 所述方法包括： S1、 将N×N的图像I输入特征提取模块提取特征， 通过特征融合模块输出三个尺寸分别 为N/8的特征图一、 N/16的特征图二和N/32的特征图三， 其中， 所述N ×N为以像素为单位的 图像分辨率， 所述特征提取模块为卷积神经网络， 所述特征融合模块为对卷积神经网络浅 层和深层特 征进行融合的模块； S2、 将N/16和N/32尺寸的特征图分别经过上采样计算将特征图放大为N/8的尺寸， 并与 特征图一相加得到特 征图E， 其中， 所述上采样计算 为反卷积 操作； S3、 通过对特征图E输入回归预测模块得到预测框的位置信 息， 并根据预测框和真实框 的位置信息映射至特征图E上对应预测框和真实框的特征区域M和N， 采用Dice距离评估M和 N特征的差异D， 其中， 所述回归预测模块为由卷积构成用于预测目标的分类和框的位置信 息； S4、 在图像I上分别提取预测框和真实框区域的直方图分布向量A和B， 采用巴氏距离评 估A和B的分布差异α： S41、 根据预测框位置信息和真实框位置信息提取在输入图像I中对应区域； S42、 对提取的对应区域的R、 G和B三个通道分别计算直方图信息， 直方图信息包括区域 内[0,255]的像素点的频 数值， 得到直方图分布向量A和B； S43、 采用巴氏距离 评估分布向量A和B的差异α， 计算公式为： 其中， N为直方图的格子数， i表示 直方图第i个 格子； S5、 将α 作为D的放缩系数完成目标检测模型训练过程中像素 特征匹配损失的计算。 2.根据权利要求1所述的基于像素特征匹配的目标检测损失优化方法， 步骤S2中将N/ 16和N/32尺寸的特征图分别经过上采样计算将特征图放大为N/8的尺寸， 并与特征图一相 加得到特征图E， 其特征在于， 包括： 尺寸为N/16的特征图上采样两倍放大为N/8的尺寸， 尺 寸为N/32的特征图上采样4 倍放大为N/8的尺寸， 相加表示特 征图元素对应位置相加。 3.根据权利要求1所述基于像素特征匹配的目标检测损 失优化方法， 步骤S3中根据预 测框和真实框的位置信息映射至特征图E上对应预测框和真实框的特征区域M和N， 采用 Dice距离 评估M和N特 征的差异D， 其特 征在于， 包括： S31、 根据预测框的位置信息， 在特征图E中确定对应预测框的特征区域M， 并拉伸为一 维向量M'； S32、 根据真实框的位置信息， 缩放至特征图一的尺寸并在特征图E中提取对应真实框 的特征区域N， 并拉伸为 一维向量 N'； S33、 采用Dice距离计算 一维特征向量M'和N'的差异， 计算公式如下： 其中， M'和N'分别为 一维向量。权　利　要　求　书 1/1 页 2 CN 114998701 B 2基于像素 特征匹配的目标 检测损失优化方 法 技术领域 [0001]本发明涉及图像识别目标检测技术领域， 尤其涉及基于像素特征匹配的目标检测 损失优化方法。 背景技术 [0002]目标检测是计算机视觉中十分重要的任务， 主要解决检测在数字图像中某一类别 的实例， 通过图像特征 的提取， 学习图像中类别实例的特征进而达到最终识别和定位的目 的。 近年来， 随着智能化、 信息化与现实环境需求的结合， 目标检测也不断深入生活的各个 方面并取得了广泛的应用， 包括安全生产、 工业缺陷检测、 自动驾驶和智慧城市等领域。  但 目标检测中的问题也 随之而来， 随着目标检测识别的类别增多， 以及特殊场景下对目标框 的定位的精度要求之高， 这给目标检测模型带来了很大的挑战， 现有目标检测网络中， 通过 评估回归预测框位置与真实框位置差异 来训练模型参数， 而缺少对预测框和真实框像素特 征的差异性评估， 模型参数 无法学习像素级别的差异， 影响了最终预测框的准确度。 发明内容 [0003]本发明的目的在于提供一种基于像素特征匹配的目标检测损失优化方法， 为实现 上述目的， 本发明提供如下技术方案： 基于像素特征匹配的目标检测损失优化方法， 包括以 下步骤： [0004]S1、 将N×N的图像I输入特征提取模块提取特征， 通过特征融合模块输出三个尺寸 分别为N/8的特征图一、 N/16的特征图二和N/32的特征图三， 其中， 所述N ×N为以像素为单 位的图像分辨率， 所述特征提取模块为卷积神经网络， 所述特征融合模块为对卷积神经网 络浅层和深层特 征进行融合的模块； [0005]S2、 将N/16和N/32尺寸的特征图分别经过上采样计算将特征图放大为N/8的尺寸， 并与特征图一相加得到特 征图E， 其中， 所述上采样计算 为反卷积 操作； [0006]S3、 通过对特征图E输入回归预测模块得到预测框的位置信息， 并根据预测框和真 实框的位置信息映射至特征图E上对应预测 框和真实框的特征区域M和N， 采用Dice距离评 估M和N特征的差异D， 其中， 所述回归预测模块为由卷积构成用于预测目标的分类和框的位 置信息； [0007]S4、 在图像I上分别提取预测框和真实框区域的直方图分布向量A和B， 采用巴氏距 离评估A和B的分布差异α； [0008]S5、 将α作为D的放缩系数完成目标检测模型训 练过程中像素特征匹配损失的计 算。 [0009]优选的， 所述将N/16和N/32特征图分别经过上采样计算将特征图放大为N/8的尺 寸， 并与特 征图一相加得到特 征图E， 包括： [0010]反卷积操作时通过卷积核带权重计算， 通过调整步长实现特征 图的放大， 相比上 采样直接计算 放大特征图的方式， 具有参数 可学习和降低特 征信息损失的作用；说　明　书 1/4 页 3 CN 114998701 B 3