(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210718919.9 (22)申请日 2022.06.23 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 陈振学　钟昆儒　张玉娇　曹佳倩　 秦皓　王修宇　陈纪旸　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫伟姣 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于生成对抗网络的人脸图像转换成素描 的方法及系统 (57)摘要 本发明属于图像数据转换技术领域， 提供了 一种基于生成对抗网络的人脸图像转换成素描 的方法及系统， 获取人脸图像； 依据获取的人脸 图像， 以及预设的人脸素描图像转换模型， 得到 人脸素描图像； 其中， 所述人脸素描 图像转换模 型通过生 成对抗网络训练得到； 人脸素描图像转 换模型训练过程中采用了多尺度结构的网络残 差块， 以及在多尺度结构的网络残差块后加入了 并行处理的自注意力模块； 本发 明在人脸素描图 像转换模型训练过程中采用了多尺度结构的网 络残差块， 同时加入并行处理的自注意力模块， 采用多尺度方法学习深层与浅层的特征， 将不同 类别的特征图融合， 使保持速度的同时， 提高了 合成质量。 权利要求书2页 说明书5页 附图2页 CN 115063859 A 2022.09.16 CN 115063859 A 1.基于生成对抗网络的人脸图像转换成素描的方法， 其特 征在于， 包括： 获取人脸图像； 依据获取的人脸图像， 以及预设的人脸素描图像转换模型， 得到人脸素描图像； 其中， 所述人脸素描图像转换模型通过生成对抗网络训练得到； 人脸素描图像转换模 型训练过程中采用了多尺度结构的网络残差块， 以及在多尺度结构的网络残差块后加入了 并行处理的自注意力模块。 2.如权利要求1所述的基于生成对抗网络的人脸图像转换成素描的方法， 其特征在于， 人脸素描图像转换模型训练时， 将人脸图像数据库分为训练集和测试集； 人脸图像数据库 大于预设值时， 采用留出验证法选择训练集和测试集， 人脸图像数据库不大于预设值时， 采 用留一交叉验证法选择训练集和 测试集。 3.如权利要求2所述的基于生成对抗网络的人脸图像转换成素描的方法， 其特征在于， 将人脸图像数据库中的人脸图像进行 预处理， 得到相同尺寸的图像。 4.如权利要求1所述的基于生成对抗网络的人脸图像转换成素描的方法， 其特征在于， 生成对抗网络包括： 上采样模块， 包括一个步长为1卷积核为7 ×7的卷积层， 以及两个步长为2卷积核为3 × 3的卷积层； 第一多尺度结构的网络残差块， 每 个残差块 为步长为1， 卷积核为3 ×3的卷积层； 并行处理的自注意力模块； 第二多尺度结构的网络残差块， 每 个残差块 为步长为1， 卷积核为3 ×3的卷积层； 下采样模块， 采用了和上采样模块对称的结构； 判别器， 包括一个下采样模块、 一个全连接层和一个步长为1卷积核为4 ×4的卷积层； 其中， 下采样模块包括三个步长为2卷积核为4 ×4的卷积层， 以及一个步长为 1卷积核为4 × 4的卷积层。 5.如权利要求4所述的基于生成对抗网络的人脸图像转换成素描的方法， 其特征在于， 第二多尺度结构的网络残差块中采用了自适应归一 化方法。 6.如权利要求1所述的基于生成对抗网络的人脸图像转换成素描的方法， 其特征在于， 损失函数包括生成对抗网络损失函数， 标识损失函数、 循环一致性损失函数和类激活损失 函数。 7.如权利要求1所述的基于生成对抗网络的人脸图像转换成素描的方法， 其特征在于， 并行处理的自注意力模块重点关注根据辅助分类器获得 的特征图将图像与草图区分开来 的区域。 8.基于生成对抗网络的人脸图像转换成素描的系统， 其特 征在于， 包括： 数据采集模块， 被 配置为： 获取 人脸图像； 转换模块， 被配置为： 依据获取的人脸图像， 以及预设的人脸素描图像转换模型， 得到 人脸素描图像； 其中， 所述人脸素描图像转换模型通过生成对抗网络训练得到； 人脸素描图像转换模 型训练过程中采用了多尺度结构的网络残差块， 以及在多尺度结构的网络残差块后加入了 并行处理的自注意力模块。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执权　利　要　求　书 1/2 页 2 CN 115063859 A 2行时实现了如权利要求 1‑7任一项所述的基于生成对抗网络的人脸图像转换成素描的方法 的步骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现了如权利要求 1‑7任一项所述的基于 生成对抗网络的人脸图像转换成素描的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115063859 A 3