(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210710861.3 (22)申请日 2022.06.22 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件科技园华 南师范大学软件学院 (72)发明人 梁艳　温兴　李宇轩　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 张金龙 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种表情识别方法、 装置、 电子设备及存储 介质 (57)摘要 本发明涉及一种表情识别方法、 装置、 电子 设备及存储介质。 本发明所述的表情识别方法包 括： 获取待识别的表情图像； 对所述表情图像进 行人脸裁剪与关键点检测， 得到预设大小的人脸 全局图像和人脸关键点坐标； 将根据所述人脸全 局图像和所述人脸关键点输入特征提取模型， 得 到表情全局特征和表情局部特征； 基于自注意力 机制， 融合所述表情全局特征和所述表情局部特 征， 得到表情融合特征； 将所述表情融合特征输 入训练好的表情分类器， 得到表情识别结果。 本 发明所述的表情识别方法， 基于自注 意力机制学 习表情的特征， 提高了表情识别的鲁棒性， 并为 后续跨数据集表情识别提供迁移性更强的特 征。 权利要求书3页 说明书11页 附图3页 CN 115273175 A 2022.11.01 CN 115273175 A 1.一种表情识别方法， 其特 征在于， 包括以下步骤： 获取待识别的表情图像； 对所述表情图像进行人脸裁剪与关键点检测， 得到预设大小的人脸全局图像和人脸关 键点坐标； 将根据所述人脸全局图像和所述人脸关键点输入特征提取模型， 得到表情全局特征和 表情局部特 征； 基于自注意力机制， 融合所述表情全局特 征和所述表情局部特 征， 得到表情融合特 征； 将所述表情融合特 征输入训练好的表情分类 器， 得到表情识别结果。 2.根据权利要求1所述的一种表情识别方法， 其特征在于， 所述表情分类器的训练步骤 包括： 获取训练数据集， 所述训练数据集包括训练表情图像与对应的表情分类标签； 对所述训练表情图像进行人脸裁剪与关键点检测， 得到预设大小的人脸全局图像和人 脸关键点 坐标； 将根据所述人脸全局图像和所述人脸关键点输入特征提取模型， 得到表情全局特征和 表情局部特 征； 基于自注意力机制， 融合所述表情全局特 征和所述表情局部特 征， 得到表情融合特 征； 使用所述表情融合特征和对应的表情分类标签训练所述表情分类器， 得到训练好的表 情分类器。 3.根据权利要求2所述的一种表情识别方法， 其特征在于， 所述表情分类器的训练步骤 还包括： 获取不带 标签的目标 数据集； 对所述目标数据集进行人脸裁剪与关键点检测， 得到预设大小的人脸全局图像和人脸 关键点坐标； 将根据所述人脸全局图像和所述人脸关键点输入特征提取模型， 得到表情全局特征和 表情局部特 征； 基于自注意力机制， 融合所述表情全局特 征和所述表情局部特 征， 得到表情融合特 征； 在所述训练好的表情分类 器中， 添加一个域 鉴别器； 使用所述训练数据集和所述目标数据集的表情融合特征， 对所述域鉴别器和所述分类 器进行对抗训练； 训练结束后， 保存所述特 征提取模型和所述分类 器。 4.根据权利要求3所述的一种表情识别方法， 其特 征在于： 所述特征提取模型为MTCN N模型。 5.根据权利要求 4所述的一种表情识别方法， 其特 征在于： 所述人脸关键点 坐标包括左眼、 右眼、 鼻子、 左嘴角和右嘴角的坐标； 所述表情局部特征通过LocalNet模块提取得到， 所述LocalNet模块的输入为以五个关 键点为中心裁 剪大小为0.2n* 0.2n*3的关键区域。 6.根据权利要求5所述的一种表情识别方法， 其特征在于， 基于自注意力机制， 融合所 述表情全局特 征和所述表情局部特 征， 得到表情融合特 征， 包括： 获得1个表情全局特 征与5个表情局部特 征；权　利　要　求　书 1/3 页 2 CN 115273175 A 2将每个1*128维的特征乘以三个128*128的通过训练获得的变换矩阵Wq、 Wk、 Wv， 得到对 应的128维的值， 分别记为qi、 ki、 vi； 使用以下公式， 计算特 征间的权 重， 并获得融合表情特 征xi： 其中d为特 征维度， d＝128。 7.根据权利要求3所述的一种表情识别方法， 其特征在于， 使用所述训练数据集和所述 目标数据集的表情融合特 征， 对所述 域鉴别器和所述分类 器进行对抗训练， 包括： 基于自注意力机制获得的融合表情特征获得 目标数据集的融合特征xi， 根据融合特征 xi输入到两层MLP中获得表情的软 标签； 对于所有源数据集表情图像与所有目标数据集表情图像， 将其K维标签扩充维2K维标 签， K为表情类别数， 其中源 数据集的标签在1至K维使用原来的标签信息， 在K+1至2K维数据 置为0， 目标 数据集的标签在1至K维数据置为0， 在K+1至2K维使用前面获得的软 标签； 使用以下公式， 将源数据集获得的融合特征继续输入到两层MLP中计算表情分类损失 Lcls， Lcls为表情的分类损失， 采用交叉熵损失在源数据集上最小化预测分类与真实表情 分类间的区别： 其中， N为源数据集的样本数量， yik为第i张表情图像为第k类表情的标签； pik为融合表 情为第k类表情的概 率； 使用以下公式， 将源数据集和目标数据集的融合特征分别输入域 ‑类别鉴别器中计算 域‑类别对抗损失Ladv： 其中， S代表源数据集数据， T代表目标数据集数据。 aik， ajk为源域样本i或目标域样本j 为第k类的类别信息， fi， fj为表情融合 特征， P为 预测融合 特征为k类， 来自d数据集的概率， d ＝0为样本来自源数据集， d＝1为样本目标 数据集； 使用以下公式， 计算结合两个损失后的总损失： L＝α Lcls+β Ladv 其中α， β 为损失比重， 初始化 为1与10， 对抗目标为 最小化L； 当训练至损失L最小时， 停止训练， 保存特征提取器和分类器用于目标数据集的表情识 别。 8.一种表情识别装置， 其特 征在于， 包括： 图像获取模块， 用于获取待识别的表情图像； 关键点检测模块， 用于对所述表情图像进行人脸裁剪与关键点检测， 得到预设大小的权　利　要　求　书 2/3 页 3 CN 115273175 A 3