(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210707324.3 (22)申请日 2022.06.21 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市中国 （上海） 自由贸易 试验区临港新片区泥城镇秋山路1775 弄29、 30号2楼01室 (72)发明人 刘思黎　朱铖恺　 (74)专利代理 机构 北京博思佳知识产权代理有 限公司 1 1415 专利代理师 魏文君 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/30(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像生成方法、 模 型训练方法、 检测方法、 装 置及系统 (57)摘要 本公开实施例提供一种图像生 成方法、 模 型 训练方法、 检测方法、 装置及系统。 可以从已获得 的少量井盖缺失窨井的图像中提取井盖缺失窨 井的特征， 然后将这些特征迁移到带井盖窨井的 图像中的带井盖窨井中， 从而可以得到不同场景 下的井盖缺失窨井的图像， 作为样本图像。 通过 这种方式， 即可以得到大量不同场景下的井盖缺 失窨井的样本图像， 用于训练目标检测模型， 使 得样本数据可以更加多样化， 训练得到的目标检 测模型的预测结果 也更加准确。 权利要求书2页 说明书11页 附图7页 CN 114882207 A 2022.08.09 CN 114882207 A 1.一种样本图像生成方法， 其特征在于， 所述样本图像用于训练目标检测模型， 所述目 标检测模型用于检测图像中的井盖缺失窨井， 所述方法包括： 获取带井盖窨井的图像； 将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中， 得到包 括井盖缺失窨井的样本图像， 其中， 所述井盖缺失窨井的特征通过对井盖缺失窨井的图像 进行特征提取得到。 2.根据权利要求1所述的方法， 其特征在于， 将井盖缺失窨井的特征迁移到所述带井盖 窨井的图像中的所述带井盖窨井中， 得到包括井盖缺失窨井的样本图像， 包括： 将所述带井盖窨井的图像输入到预先训练 的风格迁移模型中， 通过所述风格迁移模型 将井盖缺 失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中， 得到包括井 盖缺失窨井的样本图像； 其中， 所述风格迁移模型通过包括带井盖窨井的第一图像和包括 井盖缺失窨井的第二图像训练得到； 或 从所述带井盖窨井的图像中截取包括所述带井盖窨井的第 一图像区域， 将所述第 一图 像区域输入到所述风格迁移模型中， 通过所述风格迁移模型将井盖缺失窨井的特征迁移到 所述第一图像区域中的所述带井盖窨井中， 得到包括井盖缺失窨井的第二图像区域， 利用 所述第二图像区域 替换所述第一图像区域， 得到所述样本图像。 3.根据权利要求2所述的方法， 其特征在于， 所述风格迁移模型包括生成对抗网络， 所 述风格迁移模型基于包括带井盖窨井的第一图像和包括井盖缺失窨井的第二图像训练得 到， 包括： 利用所述 生成对抗网络的生成器 基于所述第一图像生成包括井盖缺失窨井的图像； 基于所述生成对抗网络的判别器对所述生成器生成的图像和所述第二图像的判别结 果确定第一损失； 基于所述生成器生成的图像中的第一图像块与所述第一图像中的第二图像块的相似 度、 以及所述生成器生成的图像中的第一图像块和 第一图像中的第三图像块的相似度确定 第二损失； 其中， 所述第一图像块和所述第二图像块位于同一像素位置， 所述第一图像块和 所述第三图像块 位于不同的像素位置； 基于所述第 一损失和所述第 二损失确定目标损失， 利用所述目标损失对所述生成对抗 网络进行训练。 4.根据权利要求2所述的方法， 其特征在于， 利用所述第 二图像区域替换所述第 一图像 区域， 得到所述样本图像， 包括： 基于所述第二图像区域确定掩膜图像； 利用所述掩膜图像从所述第 二图像区域中提取前景图像， 以及利用所述掩膜图像从所 述第一图像区域中提取背景图像； 将所述前景图像与所述背景图像融合， 利用融合得到的图像替换所述第一图像区域， 得到所述样本图像。 5.根据权利要求4所述的方法， 其特征在于， 基于所述第二图像区域确定掩膜图像， 包 括： 对所述第二图像区域进行缩放处理， 使得所述第 二图像区域的尺寸和所述第 一图像区 域的尺寸 一致；权　利　要　求　书 1/2 页 2 CN 114882207 A 2将缩放处理后的第 二图像区域进行灰度处理后再进行去噪处理， 再对去噪后的灰度图 像进行二 值化处理； 对二值化处理得到的二 值化图像进行去噪处 理， 得到所述掩膜图像。 6.一种目标检测模型训练方法， 其特 征在于， 所述方法包括： 利用权利要求1 ‑5任一项所述的样本图像生成方法生成样本图像； 利用所述样本图像对预设的初始模型进行训练， 得到所述目标检测模型。 7.一种检测道路中井盖缺失窨井的方法， 其特 征在于， 所述方法包括： 获取道路的图像； 将所述图像输入到预先训练 的目标检测模型中， 通过所述目标检测模型检测图像 中井 盖缺失的窨井， 其中， 所述目标检测模 型通过样本图像训练得到， 所述样本图像包括通过如 权利要求1 ‑5任一项所述的样本图像生成方法生成的图像。 8.一种道路检测系统， 其特征在于， 所述道路检测系统包括图像采集装置和服务器， 所 述图像采集装置位于道路侧或道路巡检装置中， 所述图像采集装置用于采集道路的图像， 并发送给 所述服务器； 所述服务器用于将所述图像输入到预先训练 的目标检测模型中， 通过所述目标检测模 型检测图像中井盖缺失的窨井， 其中， 所述目标检测模型通过样本图像训练得到， 所述样本 图像包括 通过如权利要求1 ‑5任一项所述的样本图像生成方法生成的图像。 9.根据权利要求8所述的道路检测系统， 其特征在于， 所述服务器还用于在检测到图像 中包括井盖缺失的窨井的情况下， 获取所述图像采集装置采集该图像时的位置信息， 并向 道路中车辆推送告警信息， 其中， 所述告警信息包括所述 位置信息 。 10.根据权利要求8所述的道路检测系统， 其特征在于， 所述图像采集装置搭载于道路 巡检装置中， 所述服务器还用于在检测到所述图像中包括井盖缺失窨井的情况下， 控制所 述道路巡检装置移动至所述井盖缺失窨井的附近位置， 以通过所述道路巡检装置发出提示 信息。 11.一种样本 图像生成装置， 其特征在于， 所述样本图像用于训练目标检测模型， 所述 目标检测模型用于检测图像中的井盖缺失窨井， 所述装置包括： 获取模块， 用于获取 带井盖窨井的图像； 迁移模块， 用于将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖 窨井中， 得到包括井盖缺 失窨井的样本图像， 其中， 所述井盖缺 失窨井的特征通过对井盖缺 失窨井的图像进行 特征提取得到。 12.一种电子设备， 其特征在于， 所述电子设备包括处理器、 存储器、 存储于所述存储器 可供所述处理器执行的计算机指 令， 所述处理器执行所述计算机指 令时实现如权利要求 1‑ 7任一项所述的方法。 13.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 指令， 所述计算机指令被执 行时实现如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114882207 A 3