(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221070270 0.X (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114821811 A (43)申请公布日 2022.07.29 (73)专利权人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 司世景　王健宗　吴建汉　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 张美君 (51)Int.Cl. G06V 40/20(2022.01)G06V 10/40(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06T 19/00(2011.01) (56)对比文件 CN 113592971 A,2021.1 1.02 CN 110211196 A,2019.09.0 6 CN 114049652 A,202 2.02.15 CN 113160035 A,2021.07.23 审查员 李富贵 (54)发明名称 人物合成图像生成方法、 装置、 计算机设备 及存储介质 (57)摘要 本发明涉及智能决策领域， 尤其涉及一种人 物合成图像生成方法、 装置、 计算机设备及存储 介质。 其方法包括： 对源图像进行特征提取， 得到 人体特征； 对源图像进行姿态识别， 得到源姿势 图像； 对姿态图像进行姿态识别， 得到目标姿势 图像； 对目标姿势图像进行姿势特征编码， 得到 目标姿势特征； 将源姿势图像、 源图像和目标姿 势图像进行拼接并映射至特征空间， 得到部位姿 势综合特征； 通过基于注意力机制的图像合成模 型， 对人体特征、 目标姿势特征和部位姿势综合 特征进行特征分析， 并输出人物合成图像。 本发 明可多个图像合成任务同时实现， 满足用户的需 求。 同时， 运用了注意力机制， 使获得的人物合成 图像更加趋于真实， 细节更加清晰， 提高了图像 质量。 权利要求书2页 说明书9页 附图2页 CN 114821811 B 2022.09.30 CN 114821811 B 1.一种人物合成图像生成方法， 其特 征在于， 包括： 获取源图像和姿态图像； 所述源图像是指含有人物的图像； 所述姿态图像是指包含人 物以及该 人物处于目标动作的状态的图像； 通过人体解析模型对所述源图像中的若干人体部位进行特征提取， 得到若干部位特 征； 并将所述若干 部位特征进行特征拼接， 得到人体特 征； 通过人体姿态识别模型对所述源图像进行姿态识别， 得到所述源图像的源姿势图像； 通过人体姿态识别模型对所述姿态图像进行姿态识别， 得到所述姿态图像的目标姿势图 像； 对所述目标姿势图像进行姿势特 征编码， 得到目标姿势特 征； 将所述源姿势图像、 所述源图像和所述目标姿势图像进行拼接， 得到人体姿势拼接 图 像； 将所述人体姿势拼接图像映射至特 征空间， 得到 部位姿势综合特 征； 通过基于注意力机制的图像合成模型， 对所述人体特征、 所述目标姿势特征和所述部 位姿势综合特征进行特征分析， 并输出人物合成图像， 所述人物合成 图像融合所述人体特 征和所述目标姿势特 征。 2.如权利要求1所述的人物合成图像生成方法， 其特征在于， 所述通过人体解析模型对 所述源图像中的若干人体部位进行 特征提取， 得到若干 部位特征， 包括： 通过人体解析模型对所述源图像进行语义分割， 得到与 所述人体部位对应的语义分割 图； 对所述语义分割图进行纹 理特征编码， 得到所述人体部位的部位特 征。 3.如权利要求2所述的人物合成图像生成方法， 其特征在于， 所述人体解析模型包括语 义分割模型； 所述通过人体解析模型对所述源图像进行语义分割， 得到与所述人体部位对 应的语义分割图， 包括： 通过所述语义分割模型对所述源图像进行语义识别， 得到语义识别图； 基于掩码技 术， 对所述语义识别图中的所述人体部位进行分割， 得到语义分割图。 4.如权利要求1所述的人物合成图像生成方法， 其特征在于， 所述通过基于注意力 机制 的图像合成模型， 对所述人体特征、 所述 目标姿势特征和所述部位姿势综合特征进行特征 分析， 并输出人物 合成图像， 所述人物合成图像融合所述人体特征和所述目标姿势特征， 包 括： 将所述人体特征、 所述目标姿势特征和所述部位姿势综合特征输入基于注意力 机制的 图像合成模型； 通过所述注意力 机制对所述人体特征、 所述目标姿势特征和所述部位姿势综合特征进 行特征融合， 得到人物全局特 征； 根据所述人物全局特 征， 生成人物合成图像。 5.如权利要求1所述的人物合成图像生成方法， 其特征在于， 所述通过人体姿态识别模 型对所述源图像进行姿态 识别， 得到所述源图像的源姿势图像， 包括： 将所述源图像输入所述人体姿态 识别模型； 通过所述人体姿态识别模型对所述源图像进行人体关键点检测， 得到人体关键点数据 集； 通过偶匹配方法， 将所述关键点数据集中的若干人体关键点连接起来， 得到所述源姿权　利　要　求　书 1/2 页 2 CN 114821811 B 2势图像。 6.如权利要求5所述的人物合成图像生成方法， 其特征在于， 所述通过偶匹配方法， 将 所述关键点数据集中的若干人体关键点连接起 来， 得到所述源姿势图像， 包括： 通过偶匹配方法， 对所述若干人体关键点进行关键部位匹配， 得到每个所述人体关键 点对应的关键 部位； 根据所述关键 部位， 将若干所述人体关键点进行 连接， 得到所述源姿势图像。 7.如权利要求1所述的人物合成图像生成方法， 其特征在于， 所述将所述若干部位特征 进行特征拼接， 得到人体特 征， 包括： 对至少一个所述部位特 征进行编辑， 得到 至少一个编辑后的部位特 征； 将至少一个所述编 辑后的部位特征和若干未编 辑的部位特征进行特征拼接， 得到所述 人体特征。 8.一种人物图像合成装置， 其特 征在于， 包括： 图像获取模块， 用于获取源图像和姿态图像； 所述源图像是指含有人物的图像； 所述姿 态图像是指包 含人物以及该 人物处于目标动作的状态的图像； 人体特征模块， 用于通过人体解析模型对所述源图像中的若干人体部位进行特征提 取， 得到若干 部位特征； 并将所述若干 部位特征进行特征拼接， 得到人体特 征； 姿态识别模块， 用于通过人体姿态识别模型对所述源图像进行姿态识别， 得到所述源 图像的源姿势图像； 通过人体姿态识别模型对所述姿态图像进行姿态识别， 得到所述姿态 图像的目标姿势图像； 姿势特征模块， 用于对所述目标姿势图像进行姿势特 征编码， 得到目标姿势特 征； 综合特征模块， 用于将所述源姿势图像、 所述源图像和所述目标姿势图像进行拼接， 得 到人体姿势拼接图像； 将所述人体姿势拼接图像映射至特 征空间， 得到 部位姿势综合特 征； 人物合成图像模块， 用于通过基于注意力 机制的图像合成模型， 对所述人体特征、 所述 目标姿势特征和所述部位姿势综合特征进行特征分析， 并输出人物合成图像， 所述人物合 成图像融合所述人体特 征和所述目标姿势特 征。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机可读指令， 其特征在于， 所述处理器执行所述计算机可读指令时实现如权 利要求1至7中任一项所述人物合成图像生成方法。 10.一个或多个存储有计算机可读指令的可读存储介质， 所述计算机可读指令被一个 或多个处理器执行时， 使得所述一个或多个处理器执行如权利要求 1至7中任一项 所述人物 合成图像生成方法。权　利　要　求　书 2/2 页 3 CN 114821811 B 3