(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210707261.1 (22)申请日 2022.06.21 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 张宇欣　唐帆　董未名　徐常胜　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 李文清 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 图像生成方法、 装置、 电子设备和存 储介质 (57)摘要 本发明提供一种图像生成方法、 装置、 电子 设备和存储介质， 其中方法包括： 确定待生成的 肖像图像和地图图像； 基于图像生成模型， 对肖 像图像和地图图像 分别进行特征提取， 基于特征 提取所得的肖像特征和地图特征之间的相关性， 对肖像特征和地图特征进行融合， 并基于融合所 得的特征进行图像生成， 得到肖像地图图像； 图 像生成模型基于样本肖像图像， 样 本地图图像以 及样本肖像地图图像， 联合判别模 型进行对抗训 练得到， 判别模 型用于区分预测肖像地图图像和 样本肖像地图图像， 根据融合所得的特征进行图 像生成， 能够使生成的肖像地图图像的精度更 高； 并且， 联合判别模型进行对抗训练， 能够保证 模型生成的图像的自然度和逼真度， 提高了生成 图像的图像质量。 权利要求书3页 说明书17页 附图2页 CN 115222634 A 2022.10.21 CN 115222634 A 1.一种图像生成方法， 其特 征在于， 包括： 确定待生成的肖像图像和地图 图像； 基于图像生成模型， 对所述肖像图像和所述地图图像分别进行特征提取， 基于特征提 取所得的肖像特征和 地图特征之间的相关性， 对所述肖像特征和所述地图特征进行融合， 并基于融合所 得的特征进行图像生成， 得到肖像地图 图像； 所述图像生成模型基于样本肖像图像， 样本地图图像以及样本肖像地图图像， 联合判 别模型进 行对抗训练得到， 所述判别模型用于区分预测肖像地图图像和所述样本肖像地图 图像， 所述预测肖像地图图像是所述图像生成模型基于所述样本肖像图像和所述样本地图 图像确定的。 2.根据权利要求1所述的图像生成方法， 其特征在于， 所述基于 图像生成模型， 对所述 肖像图像和所述地图图像分别进 行特征提取， 基于特征提取所得的肖像特征和地图特征之 间的相关性， 对所述肖像特 征和所述 地图特征进行融合， 包括： 基于图像生成模型中的特征提取层， 对所述肖像图像和所述地图图像分别进行特征提 取， 得到肖像特 征和地图特 征； 基于所述图像生成模型中的特征融合层， 以及所述肖像特征和所述地图特征， 确定肖 像注意力特 征和地图注意力特 征； 基于所述图像生成模型中的特征融合层， 对所述肖像注意力特征和所述地图注意力特 征进行融合。 3.根据权利要求2所述的图像生成方法， 其特征在于， 所述基于所述图像生成模型中的 特征融合层， 以及所述肖像特征和所述地图特征， 确定 肖像注意力特征和地图注意力特征， 包括： 基于所述图像生成模型中的特征融合层， 确定所述肖像特征的权重， 以及所述地图特 征的权重； 基于所述图像生成模型中的特征融合层， 所述肖像特征的权重， 以及所述地图特征的 权重， 确定肖像注意力特 征和地图注意力特 征。 4.根据权利要求1至3中任一项所述的图像生成方法， 其特征在于， 所述图像生成模型 和所述判别模型的确定步骤 包括： 构建初始图像生成模型和初始判别模型； 将所述样本肖像图像和所述样本地图图像输入至所述初始图像生成模型， 得到所述初 始图像生成模型输出的预测肖像地图 图像； 将所述预测肖像地图图像， 以及所述样本肖像地图图像输入至所述初始判别模型， 得 到所述初始判别模型输出的所述预测肖像地图图像的判别结果， 以及所述样本 肖像地图图 像的判别结果； 基于所述预测肖像地图图像， 所述样本肖像地图图像， 所述预测肖像地图图像的判别 结果以及所述样本 肖像地图图像的判别结果， 对所述初始图像生成模型和所述初始判别模 型进行参数 更新， 得到所述图像生成模型和所述判别模型。 5.根据权利要求4所述的图像生成方法， 其特征在于， 所述图像生成模型和所述判别模 型的确定步骤， 还 包括： 构建初始图像解耦模型；权　利　要　求　书 1/3 页 2 CN 115222634 A 2将所述预测肖像地图图像输入至所述初始图像解耦模型， 得到所述初始图像解耦模型 输出的预测肖像图像和预测地图 图像； 将所述预测肖像图像， 所述预测地图图像， 所述样本肖像图像以及所述样本地图图像 输入至所述初始判别模型， 得到所述初始判别模型输出 的所述预测肖像图像的判别结果， 所述预测 地图图像的判别结果， 所述样本肖像图像的判别结果， 以及所述样本地图图像的 判别结果； 基于预测图像， 样本图像， 所述预测图像的判别结果以及所述样本图像的判别结果， 对 所述初始图像生成模型， 所述初始判别模型以及所述初始图像解耦模型进行参数更新， 得 到所述图像生成模型， 所述判别模型以及所述图像解耦模型； 所述预测图像包括所述预测肖像地图图像， 所述预测肖像图像以及所述预测地图图 像， 所述样本图像包括所述样本肖像地图 图像， 所述样本肖像图像以及所述样本地图 图像。 6.根据权利要求5所述的图像生成方法， 其特征在于， 所述基于预测图像， 样本图像， 所 述预测图像的判别结果以及所述样本图像的判别结果， 对所述初始图像生成模型， 所述初 始判别模型以及所述初始图像解耦模型进行参数更新， 得到所述图像生成模型， 所述判别 模型以及所述图像解耦模型， 包括： 基于所述预测肖像地图图像， 以及所述样本肖像地图图像， 确定所述初始图像生成模 型的图像生成损失； 基于所述预测肖像图像， 所述预测地图图像， 所述样本肖像图像以及所述样本地图图 像， 确定所述初始图像解耦模型的图像解耦损失； 基于所述预测图像的判别结果， 以及所述样本 图像的判别结果， 确定所述初始判别模 型的判别损失； 基于所述图像生成损 失， 所述图像解耦损 失以及所述判别损 失， 对所述初始图像生成 模型， 所述初始判别模型以及所述初始图像解耦模型进行参数更新， 得到所述图像生成模 型， 所述判别模型以及所述图像解耦模型。 7.根据权利要求6所述的图像生成方法， 其特征在于， 所述基于所述图像生成损 失， 所 述图像解耦损失以及所述判别损失， 对所述初始图像生成模型， 所述初始判别模型以及所 述初始图像解耦模型进行参数更新， 得到所述图像生成模型， 所述判别模型以及所述图像 解耦模型， 包括： 基于所述图像生成损失， 所述图像解耦损失， 所述判别损失以及循环一致性损失约束， 对所述初始图像生成模型， 所述初始判别模型以及所述初始图像解耦模型进行参数更新， 得到所述图像生成模型， 所述判别模型以及所述图像解耦模型； 所述循环一致性损失约束用于约束所述初始图像生成模型和所述初始图像解耦模型 的输入图像与输出图像分别对应的图像特 征之间的差距。 8.一种图像生成装置， 其特 征在于， 包括： 图像确定单 元， 用于确定待生成的肖像图像和地图 图像； 图像生成单元， 用于基于 图像生成模型， 对所述肖像图像和所述地图图像分别进行特 征提取， 基于特征提取所得的肖像特征和地图特征之间的相关性， 对所述肖像特征和所述 地图特征进行融合， 并基于融合所 得的特征进行图像生成， 得到肖像地图 图像； 所述图像生成模型基于样本肖像图像， 样本地图图像以及样本肖像地图图像， 联合判权　利　要　求　书 2/3 页 3 CN 115222634 A 3