(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210845651.5 (22)申请日 2022.07.19 (71)申请人 杭州飞步科技有限公司 地址 310012 浙江省杭州市西湖区紫霞街 80号西溪谷国际商务中心 A座7-8层 (72)发明人 刘子立　韩佳陆　钱炜　杨政　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 闫洁　黄健 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/24(2022.01) (54)发明名称 图像处理方法及装置 (57)摘要 本申请提供一种图像处理方法及装置。 通过 获取最近生成的连续多帧图像的鸟瞰特征图以 及对应的定位信息； 针对多帧鸟瞰特征图中的每 帧鸟瞰特征图， 执行 以下操作： 基于鸟 瞰特征图 对应的自动驾驶车辆的朝向角， 对鸟瞰特征图进 行旋转， 得到旋转后的鸟 瞰特征图； 根据鸟 瞰特 征图对应的自动驾驶车辆的位置坐标， 确定旋转 后的鸟瞰特征图在融合特征图中所占的目标区 域； 基于目标区域， 将旋转后的鸟瞰特征图融合 至融合特征图中。 通过对 连续多帧鸟瞰特征图中 的每一帧分别进行处理， 缩短了对图像处理所需 要的时延， 同时按时序将连续多帧鸟瞰特征图融 合到融合特征图中， 得到连续多帧鸟瞰特征图的 融合特征图， 提高对自动驾驶车辆周围环境预测 的准确性。 权利要求书2页 说明书10页 附图5页 CN 115223125 A 2022.10.21 CN 115223125 A 1.一种图像处 理方法， 其特 征在于， 应用于自动驾驶车辆， 所述图像处 理方法， 包括： 获取最近生成的连续多帧图像的鸟瞰特征图以及对应的定位信 息， 所述定位信 息为在 生成对应图像时所述自动驾驶车辆的定位信息， 所述定位信息包括 位置坐标和朝向角； 针对多帧鸟瞰特 征图中的每帧鸟瞰特 征图， 执行以下操作： 基于所述鸟瞰特征图对应的所述自动驾驶车辆的朝向角， 对所述鸟瞰特征图进行旋 转， 得到旋转后的鸟瞰特 征图； 根据所述鸟瞰特征图对应的所述自动驾驶车辆的位置坐标， 确定旋转后的鸟瞰特征图 在融合特 征图中所占的目标区域； 基于所述目标区域， 将所述旋转后的鸟瞰特 征图融合至融合特 征图中。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标区域， 将所述旋转后的 鸟瞰特征图融合至融合特 征图中， 包括： 从所述融合特 征图中， 裁切出 所述目标区域的特 征图； 将所述旋转后的鸟瞰特征图和所述目标区域的特征图进行融合处理， 得到更新后鸟瞰 特征图； 在所述融合特 征图中， 将所述目标区域的特 征图替换为所述更新后鸟瞰特 征图。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述旋转后的鸟瞰特征图和所述目 标区域的特 征图进行融合处 理， 得到更新后鸟瞰特 征图， 包括： 将所述旋转后的鸟瞰特征图和所述目标区域的特征图输入第 一模型进行融合处理， 得 到更新后鸟瞰特 征图， 所述第一模型包括co nvGRU。 4.根据权利要求1至3中任一项所述的方法， 其特征在于， 所述根据所述鸟瞰特征图对 应的所述自动 驾驶车辆的位置坐标， 确定旋转后的鸟瞰特征图在融合特征图中所占的目标 区域， 包括： 根据所述鸟瞰特征图对应的所述自动驾驶车辆的位置坐标和所述融合特征图的映射 关系， 得到所述鸟瞰特 征图对应的所述自动驾驶车辆在所述融合特 征图中的融合 坐标； 根据所述旋转后的鸟瞰特征图和所述融合坐标， 得到所述旋转后的鸟瞰特征图在所述 融合特征图中所占的目标区域。 5.根据权利要求1至3 中任一项所述的方法， 其特征在于， 获取图像对应的定位信 息， 包 括： 从所述自动驾驶车辆的导航设备中获取所述图像对应的所述自动驾驶车辆的定位信 息。 6.根据权利要求1至3 中任一项所述的方法， 其特征在于， 所述基于所述目标区域， 将所 述旋转后的鸟瞰特 征图融合至融合特 征图中之后， 还 包括： 从所述融合特征图中， 裁切出对应帧鸟瞰特征图对应的目标区域的特征图， 以用于下 游任务。 7.一种图像处 理装置， 其特 征在于， 应用于自动驾驶车辆， 所述图像处 理装置， 包括： 获取模块， 用于获取最近生成的连续多帧图像的鸟瞰特征图以及对应的定位信息， 所 述定位信息为在生成对应图像时所述自动 驾驶车辆的定位信息， 所述定位信息包括位置坐 标和朝向角； 针对多帧鸟瞰特 征图中的每帧鸟瞰特 征图的处 理装置， 包括：权　利　要　求　书 1/2 页 2 CN 115223125 A 2旋转模块， 用于基于所述鸟瞰特征图中所述自动驾驶车辆对应的朝向角， 对所述鸟瞰 特征图进行旋转， 得到 旋转后的鸟瞰特 征图； 确定模块， 用于根据所述鸟瞰特征图中所述自动驾驶车辆对应的位置坐标， 确定旋转 后的鸟瞰特 征图在融合特 征图中所占的目标区域； 融合模块， 用于基于所述目标区域， 将所述旋转后的鸟瞰特 征图融合至融合特 征图中。 8.根据权利要求7 所述的装置， 其特 征在于， 所述融合模块具体用于： 从所述融合特 征图中， 裁切出 所述目标区域的特 征图； 将所述旋转后的鸟瞰特征图和所述目标区域的特征图进行融合处理， 得到更新后鸟瞰 特征图； 在所述融合特 征图中， 将所述目标区域的特 征图替换为所述更新后鸟瞰特 征图。 9.一种图像处 理设备， 其特 征在于， 包括： 至少一个处 理器； 以及与所述至少一个处 理器连接的存 储器； 其中， 所述存储器用于存储所述至少一个处理器可执行的指令， 所述指令被所述至少 一个处理器执行， 以使所述至少一个处 理器能够执 行权利要求1至 6中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 所述计算机执 行指令被执 行时用于实现如权利要求1至 6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115223125 A 3