(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210266864.2 (22)申请日 2022.03.18 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 肖春霞　方菲　罗飞　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 代理人 齐晨涵 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06F 40/211(2020.01) G06F 40/30(2020.01) G06T 11/00(2006.01) (54)发明名称 一种生成对抗网络判别器及文本生成图像 的方法 (57)摘要 本发明公开了一种生成对抗网络判别器及 文本生成图像的方法， 通过从三个方面对判别器 进行设计， 首先， 提出了一种多样性敏感条件鉴 别器， 它通过判断生成的图像与不匹配文本的组 合为假来增加生成图像的多样性。 其次， 对于非 条件判别器， 提出了一种对比搜索策略来衡量生 成图像的真实感， 并惩罚梯度以稳定训练过程。 最后， 用判别器作为特征提取器， 引入了多层次 图片相似度损失， 进一步提高了训练图像和生成 图像与目标之间的高级特征相似度。 大量的实验 结果和消融研究表明， 对判别器的改进可以有效 地提高生成图像的质量。 权利要求书3页 说明书9页 附图1页 CN 114419348 A 2022.04.29 CN 114419348 A 1.一种生成对抗网络判别器， 其特征在于： 包括多样性敏感条件判别器、 对比搜索梯度 惩罚非条件判别器和多层次图像相似度单元， 获得条件和非条件对抗损失以及生成图片和 对应训练图片的相似度损失， 以训练更好的生成器； 所述多样性敏感条件判别器基于传统条件判别器， 将判断生成的图像和不匹配的文本 的组合为假， 从而产生损失惩罚， 缓解模式崩溃； 所述非条件判别器基于对比搜索的梯度惩罚策略， 通过比较生成图像与所构建的真图 和假图之间的距离来确定假图像是真还是假， 并惩罚由于低估对比真图而引起的梯度爆 炸； 所述多层次图像相似度 单元通过计算图像级别的差异和物体级别的差异， 并将这两种 差异损失相加用来更新 生成器。 2.根据权利要求1所述的生成对抗网络判别器， 其特征在于： 所述非条件判别器中通过 比较生成 图像与所构建的真图和 假图之间的距离来确定假图像是真还是假的具体过程如 下： 首先， 对于一批生成图片 ， 构建一批构造真图 ： 其中， 是这批生成图片对应的训练集图片， 的值是随机从[0.85,0.99]中选取 的； 类似地， 构建一批构造假图 ： 其中， 是一批噪声图像， 它们与生成图片具有 同样的分辨率， 但是每个像素都是从 均匀分布 中采样得到的； 的值是随机从[0.4,0.6]中选取的； 对 于一张生成图片 ， 要对比它和对应的构造真图 和构造假图 的距离， 从而决定 是否是一张对比真 图， 这两个距离的计算方法如下： 其中， |·|表示差的绝对值， 是非条件判别器， 最后， 如果有 并且 ， 则认为 是一张对比真图， 其 余情况下， 认为 是一张对比假图。 3.根据权利要求2所述的生成对抗网络判别器， 其特征在于： 所述非条件判别器中计算 铰链损失， 并对产生的梯度爆炸进行惩罚， 具体过程如下： 先采用常规的铰链损失损失函数将当前非条件判别器 更新为 ， 再用以下公式进 一步将 更新为 ， 以修改正原来被判别器判断为大于 的图片会被更新后的判别器 判别为小于 ：权　利　要　求　书 1/3 页 2 CN 114419348 A 2其中， 将 更新为 的损失函数， E表示期望值， Ncr为常规判别器判断为大于 的图片被更新后的判别器 判别为小于 的图片， 表示sigmoid函数， 的值是梯 度惩罚的权重， 的值越大表明生 成图片 具有更高的真实感， 超参数 用来区分权 重值， 为对比真图的阈值。 4.根据权利要求1所述的生成对抗网络判别器， 其特征在于： 所述图像级别的差异损失 具体过程 为： 训练判别器作为图像特征提取器， 构建正样本和负样本， 使得真实训练图片和正样本 差别较小， 和负 样本差别较大， 具体如下： 对于一张真图 ， 正样本和负样本都包含有 m张图片， 其中正样本包含真实感较高并且 与 语义一致的图片， 负样本包含真实感较低并和 语义不一致的图片， 将 和正负样 本图片都输入到相 似度判别器中， 输出的值分别为 、 和 ， 计算出 和 中差 距最大的值 ， 和 中差距最小的值 ， 计算三元组损失 使得 小于 ： 其中margin是超参数， 计算中心损失 和 以提高判别器网络对于正负样本的区 分能力和鲁棒 性： 其中， 是 和 之间距离的平均值； 用训练过的判别器网络分别提取生成图片的特征和真实训练图片的特征， 计算二者的 差异作为图像级别的差异损失。 5.根据权利要求4所述的生成对抗网络判别器， 其特征在于： 用训练过的判别器网络分 别提取生成图片的特征和真实训练图片的特征， 计算二者的差异作为图像级别的差异损 失， 具体过程如下： 将分辨率为256*256*3的训练图片和生成图片分别输入图中所示的判别器网络中， 分 别提取4*4*C的中间特征， 其中C是特征通道数， 然后 分别经过两个卷积层得到最终的判别 器输出值， 这两个值相减得到训练图片和生成图片的图片级差异值。 6.根据权利要求1所述的生成对抗网络判别器， 其特征在于： 所述物体级别的差异损失 具体为： 对于物体级别的训练图片和生成图片的相似度， 首先用YOLOv3物体检测器检测训练图权　利　要　求　书 2/3 页 3 CN 114419348 A 3