(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210796926.0 (22)申请日 2022.07.06 (71)申请人 杭州海康威视数字技 术股份有限公 司 地址 310051 浙江省杭州市滨江区阡 陌路 555号 (72)发明人 黄宋悦　张欣　陈杰　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 孟维娜　项京 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/10(2022.01) G06V 10/80(2022.01) G06V 20/58(2022.01) (54)发明名称 一种样本图像生 成方法、 装置及自动驾驶装 置 (57)摘要 本发明实施例提供了一种样本图像生成方 法、 装置及自动驾驶装置， 涉及图像处理技术领 域， 上述方法包括： 获得 实际场景的道路图像， 并 确定道路图像中用于叠放障碍物的叠放区域； 根 据道路图像， 获得实际场景的光照信息及采集道 路图像的相机的参数； 基于相机的参数、 光照信 息及叠放区域的区域信息， 生 成包括障碍物模型 的虚拟场景； 对虚拟场景进行渲染， 得到障碍物 图像； 以道路图像为背景图像、 障碍物图像为前 景图像， 对道路图像和障碍物图像进行图像融 合， 得到样本图像。 应用本发明实施例提供的样 本图像生成方案， 能够生成样本图像 。 权利要求书3页 说明书25页 附图13页 CN 115170907 A 2022.10.11 CN 115170907 A 1.一种样本图像生成方法， 其特 征在于， 所述方法包括： 获得实际场景的道路图像， 并确定所述道路图像中用于 叠放障碍物的叠放区域； 根据所述道路图像， 获得所述实际场景的光照信息及采集所述道路图像的相机的参 数； 基于所述相机的参数、 光照信息及叠放区域的区域信息， 生成包括障碍物模型的虚拟 场景， 所述障碍物模型在所述虚拟场景中的位置根据所述相机的参数及所述区域信息确 定； 对所述虚拟场景进行渲染， 得到障碍物图像； 以所述道路图像为背景图像、 所述障碍物图像为前景图像， 对所述道路图像和所述障 碍物图像进行图像融合， 得到样本图像。 2.根据权利要求1所述的方法， 其特征在于， 所述道路图像与 所述障碍物图像的大小相 同； 所述以所述道路图像为背景图像、 所述障碍物图像为前景图像， 对所述道路图像和所 述障碍物图像进行图像融合， 得到样本图像， 包括： 在所述障碍物图像中确定障碍物所在的前景区域， 并在所述道路图像中确定所述前景 区域相同位置之外的背景区域； 获得按位置融合有所述前 景区域和所述背景区域的样本图像。 3.根据权利要求2所述的方法， 其特征在于， 所述在所述障碍物图像中确定障碍物所在 的前景区域， 并在所述道路图像中确定所述前 景区域相同位置之外的背景区域， 包括： 在所述障碍物图像中确定障碍物所在的前景区域以及与所述前景区域相邻的第一边 缘区域； 在所述道路图像中确定所述第 一边缘区域相同位置的第 二边缘区域， 并在所述道路图 像中确定所述前 景区域和第一 边缘区域相同位置之外的背景区域； 所述获得按位置融合有所述前 景区域和所述背景区域的样本图像， 包括： 基于距离权重系数， 对所述第一边缘区域和第二边缘区域融合， 得到包含所述前景区 域、 背景区域以及融合后区域的样本图像， 其中， 所述距离权重系数是： 根据所述第一边缘 区域中各像素点与所述前 景区域的边 缘像素点之间的距离确定的。 4.根据权利要求2所述的方法， 其特征在于， 所述在所述障碍物图像中确定障碍物所在 的前景区域， 并在所述道路图像中确定所述前 景区域相同位置之外的背景区域， 包括： 生成包括第一区域的障碍物掩码图， 其中， 所述第一区域反映所述障碍物图像中障碍 物所在区域； 根据所述障碍物掩码图， 在所述障碍物图像中确定障碍物所在的前 景区域； 根据所述障碍物掩码图， 在所述道路图像中确定所述前景区域相同位置之外的背景区 域。 5.根据权利要求 4所述的方法， 其特 征在于， 所述方法还 包括： 对所述障碍物掩码图中所述第一区域的边 缘进行膨胀处 理； 对膨胀处 理所产生的膨胀区域进行模糊处 理； 所述根据所述障碍物掩码图， 在所述障碍物图像中确定障碍物所在的前 景区域， 包括： 在所述障碍物图像中， 确定与所述第 一区域位置相同的第 三区域以及与所述膨胀区域权　利　要　求　书 1/3 页 2 CN 115170907 A 2位置相同的第四区域； 所述根据 所述障碍物掩码图， 在所述道路图像中确定所述前景区域相同位置之外的背 景区域， 包括： 在所述道路图像中， 确定与 所述第二区域位置相同的第五区域以及与 所述膨胀区域位 置相同的第六区域， 其中， 所述第二区域为所述障碍物图像中除所述第一区域和膨胀区域 外的区域； 所述获得按位置融合有所述前 景区域和所述背景区域的样本图像， 包括： 以所述膨胀区域中各像素点的像素值确定的权重系数， 对所述第四区域和第六区域融 合， 得到包 含所述第三区域、 第五区域以及融合区域的样本图像。 6.根据权利要求5所述的方法， 其特征在于， 所述对膨胀处理所产生的膨胀区域进行模 糊处理， 包括： 根据膨胀区域内像素点与第 一区域的边缘像素点之间的距离、 第 一区域内像素点的像 素值、 第二区域内像素点的像素值， 对膨胀区域内像素点的像素值进行调整。 7.根据权利要求1 ‑6中任一项所述的方法， 其特征在于， 所述基于所述相机的参数、 光 照信息及叠放区域的区域信息， 生成包括障碍物模型的虚拟场景， 包括： 基于所述相机的参数以及所述 光照信息， 构建临时虚拟场景； 将障碍物模型叠放在所述临时虚拟场景中的目标区域， 得到叠放后的虚拟场景， 其中， 所述目标区域 根据所述相机参数以及所述叠放区域的区域信息确定 。 8.根据权利要求1 ‑6中任一项所述的方法， 其特征在于， 所述确定所述道路图像中用于 叠放障碍物的叠放区域， 包括： 检测所述道路图像中的道路区域以及预设类型的对象所在的对象区域； 从所述道路图像内属于所述道路区域、 且不属于所述对象区域的区域中， 确定用于叠 放障碍物的叠放区域。 9.根据权利要求1 ‑6中任一项所述的方法， 其特征在于， 在所述对所述道路图像和所述 障碍物图像进行图像融合之前， 所述方法还 包括： 根据所述障碍物图像中障碍物所在前景区域中各像素点的像素值、 以及所述道路图像 中所述前景区域的对应区域中各像素点的像素值， 对所述前景区域中各像素点进 行色调映 射处理。 10.根据权利要求9所述的方法， 其特征在于， 所述根据所述障碍物图像中障碍物所在 前景区域以及所述道路图像中与所述前景区域相对应区域中各像素点的像素值， 对所述前 景区域中各像素点进行色调映射处 理， 包括： 计算所述障碍物图像中障碍物所在前 景区域中各像素点的第一像素均值； 计算所述道路图像中与所述前 景区域相对应区域中各像素点的第二像素均值； 基于所述第 一像素均值与 所述第二像素均值的比值， 对所述前景区域中各像素点的像 素值进行调整。 11.根据权利要求1 ‑6中任一项所述的方法， 其特征在于， 所述以所述道路图像为背景 图像、 所述障碍物图像为前景图像， 对 所述道路图像和所述障碍物图像进 行图像融合， 得到 样本图像， 包括： 以所述道路图像为背景图像、 所述障碍物图像为前景图像， 对所述道路图像和所述障权　利　要　求　书 2/3 页 3 CN 115170907 A 3