(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210812089.6 (22)申请日 2022.07.12 (65)同一申请的已公布的文献号 申请公布号 CN 114882578 A (43)申请公布日 2022.08.09 (73)专利权人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 喻莉　何双江　赵慧娟　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 彭军芬 (51)Int.Cl. G06V 40/16(2022.01) G06K 9/62(2022.01) G06V 10/778(2022.01) G06V 10/80(2022.01)(56)对比文件 CN 113743389 A,2021.12.0 3 CN 114333027 A,202 2.04.12 CN 109657554 A,2019.04.19 CN 112364705 A,2021.02.12 US 10504268 B1,2019.12.10 US 20210816 53 A1,2021.0 3.18 CN 112990078 A,2021.0 6.18 卢情义.基 于领域适应的跨角度面部表情图 像生成和识别. 《中国优秀博硕士学位 论文全文 数据库(硕士)信息科技 辑》 .2022,I138-2042. Ying-Hsiu Lai 等.Emoti on-Preservi ng Representati on Learning via Generative Adversarial Netw ork for Multi-View Facial Expression Recogn ition. 《2018 13th IE EE Internati onal Conference o n Automatic Face & Gesture Recogn ition (FG 2018)》 .2018,26 3-270. 审查员 林浩 (54)发明名称 一种多域对抗学习的小样本条件下复合表 情识别方法 (57)摘要 本发明公开了多域对抗学习的小样本条件 下复合表情识别方法， 属于计算机视觉人脸表情 识别领域。 为了在小样本条件下提取多样性和复 杂性的复合表情特征， 融合多个小样本数据集， 并划分表情 子域， 利用多域对抗学习提高识别复 合表情的性能。 基于生成对抗网络框架， 将人脸 域、 轮廓无关的复合表情域融合在生成 网络中以 增强多样性和复杂性， 设计了两个鉴别器引导生 成器。 人脸鉴别器使用人脸域， 引 导并鉴别生成 器生成表情无关的人脸身份属性， 让生成器具有 身份多样性； 复合表情融合鉴别器 分别将基础表 情域和轮廓相关的复合表情域融合在一起， 引导 并鉴别生 成器生成的表情具有复杂性。 从而获得 兼具多样性和复杂性的高性能鉴别器， 提高复合表情的识别性能。 权利要求书3页 说明书9页 附图2页 CN 114882578 B 2022.09.06 CN 114882578 B 1.一种多域对抗学习的小样本条件下复合表情识别方法， 其特 征在于， 包括： S1.收集复合表情的小样本数据集； S2.针对复合表情的小样本数据集， 划分人脸子域、 轮廓无关的复合表情子域、 轮廓相 关的复合表情子域和基础表情子域； 其中， 人脸子域指的是与表情无关的人脸身份； 轮廓无关的复合表情子域指的是人脸 复合表情中的不包含人脸轮廓的能够表征复合表情的五官部分； 轮廓相关的复合表情子域 指的包括人脸轮廓部 分和复合表情五官部 分； 基础表情子域， 指的是六种基础表情， 包括高 兴、 悲伤、 惊讶、 生气、 愤怒和厌 恶； S3.构建生成器、 复合表情鉴别器和人脸身份鉴别器； 生成器， 用于融合人脸子域和轮廓无关的复合表情子域， 生成兼具身份多样性和复合 表情复杂性的合成图像； 复合表情融合鉴别器， 用于混合轮廓相关的复合表情子域和基础表情子域， 计算交叉 过渡空间， 引导并判别生成器生成的复合表情图像具有表情复杂性； 人脸鉴别器， 用于判断生成器输出的复合表情图像是否符合人脸子域中的人脸特征分 布， 引导并判别生成器生成的复合表情具有 身份多样性； S4.利用人脸子域、 轮廓无关的复合表情子域训练生成器； 利用人脸子域训练人脸鉴别 器； 利用轮廓相关的复合表情子域和基础表情子域训练复合表情融合 鉴别器； S5.将包括人脸的图片输入训练好的复合表情融合鉴别器， 输出多种复合表情的分类 向量， 选择其中softmax值 最高的分量向量， 得到符合表情分类结果。 2.根据权利要求1所述的一种多域对抗学习的小样本条件下复合表情识别方法， 其特 征在于， 生成器包括人脸编码器、 轮廓无关的复合表情编码器、 噪声混合模块、 嵌入配对混 合域编码模块和混合 解码模块； 人脸编码器， 用于编码与表情无关的人脸身份信息； 复合表情编码器， 用于编码轮廓无关的复合表情特 征； 噪声混合模块， 用于将人脸特征编码 、 轮廓无关的复合表情特征编码 与随机 噪声  混合； 嵌入配对混合域编码模块， 将人脸特征编码   、 轮廓无关的复合表情特征编码 和随机噪声 嵌入融合构成配对混合 域的特征编码 ； 混合解码模块， 用于对配对混合 域的特征编码  解码生成图像   。 3.根据权利要求2所述的一种多域对抗学习的小样本条件下复合表情识别方法， 其特 征在于， 生成器的处 理过程为： 权　利　要　求　书 1/3 页 2 CN 114882578 B 2和  是控制参数， 分别用于控制嵌入编码中的特征 和 强度， ， con表示channel ‑wise的连接操作， Emb表示嵌入编 码。 4.根据权利要求2所述的一种多域对抗学习的小样本条件下复合表情识别方法， 其特 征在于， 复合表情融合鉴别器包括复合表情识别模块、 基础表情识别模块、 复合表情全连接 层、 基础表情全连接层和交叉计算模块； 复合表情识别模块， 用于提取轮廓相关的复合表情特 征； 基础表情识别模块， 用于提取基础表情特 征； 复合表情全连接层， 用于对轮廓相关的复合表情特 征做全连接； 基础表情全连接层， 用于对基础表情特 征做全连接； 交叉计算模块， 用于计算全连接后的复合表情特征向量和基础表情特征向量的交集， 根据交集选择其中softmax值 最高的分量作为分类结果。 5.根据权利要求4所述的一种多域对抗学习的小样本条件下复合表情识别方法， 其特 征在于， 复合表情识别模块采用如下公式进行谱 归一化；  表示基础表情识别模块的参数， 表示复合表情识别模块，  表示权重矩阵的 标准谱范 数。 6.根据权利要求1所述的一种多域对抗学习的小样本条件下复合表情识别方法， 其特 征在于， 轮廓无关的复合表情子域利用AU先验知识、 人脸地标68以及位于前额中心区域地 标进行划分。 7.根据权利要求1所述的一种多域对抗学习的小样本条件下复合表情识别方法， 其特 征在于， 生成器损失函数为： 表示人脸身份分类和复合表情分类损失， 表示双交集域损失函数，  和   是控制参数， 表示 服从 的分布下的信息熵, 表示人脸标 签,  表示生成器生成假人脸图像， 复合表情输入图像， 表示复合表情输入图像 的标签， 表示复合表情 融合鉴别器，   表示复合表情识别模块， 表示基础表情权　利　要　求　书 2/3 页 3 CN 114882578 B 3