(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210672477.9 (22)申请日 2022.06.15 (65)同一申请的已公布的文献号 申请公布号 CN 114764911 A (43)申请公布日 2022.07.19 (73)专利权人 小米汽车 科技有限公司 地址 100176 北京市北京经济技 术开发区 科创十街15号院5号楼6层618室 (72)发明人 张忠新　武鹏　 (74)专利代理 机构 北京法胜知识产权代理有限 公司 11922 专利代理师 戎郑华 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) (56)对比文件 CN 112329552 A,2021.02.0 5 CN 112329552 A,2021.02.0 5 CN 113033436 A,2021.0 6.25 WO 2022078463 A1,202 2.04.21 CN 111339808 A,2020.0 6.26 CN 112016472 A,2020.12.01 US 20202848 83 A1,2020.09.10 CN 111709343 A,2020.09.25 董大明.机动车辆 辅助驾驶动态障碍物检测 方法. 《火力与指挥控制》 .2018,(第04期),全 文. 审查员 黄为锴 (54)发明名称 障碍物信息检测方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提出一种障碍物信息检测方法、 装 置、 电子设备及存储介质， 涉及人工智 能技术领 域， 具体涉及自动驾驶技术领域， 其中， 方法包 括： 获取车载摄像头采集的多帧图像； 对多帧图 像分别进行特征提取， 以得到各帧图像的原始特 征图； 针对多帧图像中除首帧图像 之外的任一目 标图像， 根据至少一帧参考图像的原始特征图对 目标图像的原始特征图进行更新， 以得到目标图 像的目标特征图； 其中， 至少一帧参考图像是多 帧图像中在目标图像之前采集的图像； 根据各帧 目标图像的目标特征图， 检测障碍物信息， 由此， 可实现利用参考图像中的障碍物特征指导目标 图像的障碍物信息检测， 提高了目标图像中障碍 物信息检测的准确性， 从而提高车辆行驶的安全 性。 权利要求书4页 说明书14页 附图6页 CN 114764911 B 2022.09.23 CN 114764911 B 1.一种障碍物信息检测方法， 其特 征在于， 包括： 获取车载摄像头采集的多帧图像； 对所述多帧图像分别进行 特征提取， 以得到各帧图像的原 始特征图； 针对所述多帧图像中除首帧图像之外的任一目标图像， 根据至少一帧参考图像的原始 特征图对 所述目标图像的原始特征图进 行更新， 以得到所述目标图像的目标特征图； 其中， 所述至少一帧参 考图像是 所述多帧图像中在所述目标图像之前采集的图像； 根据各帧目标图像的所述目标 特征图， 检测障碍物信息； 所述根据各帧目标图像的所述目标 特征图， 检测障碍物信息， 包括： 将各帧目标图像的目标特征图输入到障碍物信 息识别模型中， 以得到各目标图像的障 碍物信息； 所述根据至少一帧参考图像的原始特征图对所述目标图像的原始特征图进行更新， 以 得到所述目标图像的目标 特征图， 包括： 针对所述至少一帧参考图像中的任意两帧相邻参考图像， 将所述两帧相邻参考图像中 前一帧参考图像的目标特征图与后一帧参考图像的原始特征图进 行融合， 以得到后一帧参 考图像的目标特征图； 其中， 所述至少一帧参考图像中的首帧参考图像的目标特征图为所 述首帧参 考图像的原 始特征图； 将所述目标图像的原始特征图与所述目标图像的相邻前一帧参考图像的目标特征图 进行融合， 以得到所述目标图像的目标 特征图； 所述根据各帧目标图像的所述目标 特征图， 检测障碍物信息， 包括： 采用障碍物信 息识别模型的编码层对各帧目标图像的所述目标特征图进行编码， 以得 到所述各帧目标图像的编码特 征； 采用所述障碍物信 息识别模型的解码层对所述各帧目标图像的编码特征进行解码， 以 得到所述各帧目标图像的解码特 征； 采用所述障碍物信 息识别模型的预测层对所述各帧目标图像的解码特征进行预测， 以 得到所述各帧目标图像的障碍物预测信息； 其中， 所述障碍物预测信息包括障碍物预测框 的位置信息、 障碍物中心坐标偏移预测信息和障碍物运动属 性预测信息中的至少一项； 所 述预测层的个数与预测维度的个数相同； 所述障碍物预测信息包括所述障碍物预测框的位置信息和所述障碍物中心坐标偏移 预测信息， 所述采用所述障碍物信息识别模型的预测层 对所述各帧目标图像的解码特征进 行预测， 以得到所述各帧目标图像的障碍物预测信息， 包括： 采用障碍物信息识别模型的预 测层对各帧目标图像的解码特征进行预测， 得到各帧目标图像的障碍物预测框的位置信 息； 根据所述各帧目标图像的障碍物预测框的位置信息以及首帧图像的障碍物预测框的位 置信息， 确定任意两帧相 邻图像中的后一帧图像相对前一帧图像的障碍物中心 坐标偏移预 测信息。 2.根据权利要求1所述的方法， 其特征在于， 所述障碍物预测信 息包括所述障碍物预测 框的位置信息和所述障碍物中心 坐标偏移预测信息， 所述采用所述障碍物信息识别模型的 预测层对所述各帧目标图像的解码特征进 行预测， 以得到所述各帧目标图像的障碍物预测 信息， 包括： 采用所述障碍物信息识别模型的第一预测层对所述各帧目标图像的解码特征进行预权　利　要　求　书 1/4 页 2 CN 114764911 B 2测， 以得到所述各帧目标图像的障碍物预测框的位置信息； 对所述多帧图像中任意两帧相邻图像， 将所述两帧相邻图像对应的障碍物预测框的位 置信息输入至对应的第二预测层， 以得到所述两帧相 邻图像中的后一帧图像相对前一帧图 像的障碍物中心坐标偏移预测信息； 其中， 所述首帧图像的障碍物预测框的位置信 息是根据 所述首帧图像的原始特征图确 定的。 3.根据权利要求2所述的方法， 其特征在于， 所述障碍物预测信 息还包括所述障碍物运 动属性预测信息， 所述采用所述障碍物信息识别模型的预测层 对所述各帧目标图像的解码 特征进行预测， 以得到所述各帧目标图像的障碍物预测信息， 包括： 对所述多帧图像中任意两帧相邻图像， 将所述两帧相邻图像对应的所述障碍物预测框 的位置信息以及所述两帧相邻图像的采样时间间隔输入至对应的第三预测层， 以得到所述 两帧相邻图像中的后一帧图像对应的障碍物运动属性预测信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述障碍物运动属性预测信 息包括障碍物 相对速度预测信息和障碍物状态预测信息中的至少一项， 所述对所述多帧图像中任意两帧 相邻图像， 将所述两帧相 邻图像对应的所述障碍物预测框的位置信息以及所述两帧相 邻图 像的采样时间间隔输入至对应的第三预测层， 以得到所述两帧相 邻图像中的后一帧图像对 应的所述障碍物运动属性预测信息， 包括： 将所述两帧相邻图像对应的障碍物预测框的位置信 息、 所述两帧相邻图像的采样时间 间隔以及设定速度阈值输入至对应的第三预测层的第一预测分支， 以得到所述两帧相 邻图 像中的后一帧图像的障碍物状态预测信息； 和/或， 将所述两帧相邻图像对应的障碍物预测框的位置信 息、 所述两帧相邻图像的采样时间 间隔以及车辆速度信息输入至对应的第三预测层的第二预测分支， 以得到所述两帧相 邻图 像中的后一帧图像对应的障碍物相对速度预测信息 。 5.根据权利要求2 ‑4中任一项所述的方法， 其特征在于， 所述障碍物信息识别模型采用 以下步骤训练得到： 获取多帧样本图像； 采用初始的障碍物信 息识别模型对所述多帧样本图像进行障碍物信 息预测， 以得到所 述多帧样本图像的障碍物预测信息； 根据所述多帧样本图像的障碍物预测信息与所述多帧样本图像上标注的障碍物标注 信息之间的差异， 对所述初始的障碍物信息识别模型进行训练。 6.根据权利要求1所述的方法， 其特征在于， 所述根据至少一帧参考图像的原始特征图 对所述目标图像的原 始特征图进行 更新， 以得到所述目标图像的目标 特征图， 包括： 将所述至少一帧参考图像的原始特征图与 所述目标图像的原始特征图进行融合， 将融 合后的特 征图作为所述目标图像的目标 特征图。 7.一种障碍物信息检测装置， 其特 征在于， 包括： 第一获取模块， 用于获取 车载摄像头采集的多帧图像； 提取模块， 用于对所述多帧图像分别进行 特征提取， 以得到各帧图像的原 始特征图； 更新模块， 用于针对所述多帧图像中除首帧图像之外的任一目标图像， 根据至少一帧权　利　要　求　书 2/4 页 3 CN 114764911 B 3