(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210683540.9 (22)申请日 2022.06.17 (71)申请人 厦门华厦学院 地址 361000 福建省厦门市集美区天马路 288号 (72)发明人 陈婷婷　陈明明　王宁　林国凤　 张溱　何守鹏　高清阳　 (74)专利代理 机构 厦门原创专利事务所(普通 合伙) 35101 专利代理师 王桂婷 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于梯度自适应机制的人脸识别方法、 设备 及介质 (57)摘要 本发明提供了一种基于梯度自适应机制的 人脸识别方法， 包括： 构建网络模型； 采集RGB人 脸图像和非RGB人脸图像； 提取 RGB人脸图像和非 RGB人脸图像的特征信息； 将特征进行特征融合 再依次经过全局平均池化、 分类层和分类损失函 数进行训练； 将特征分别单独经过全局平均池化 处理后， 再分别单独进入梯度反转层约束整个网 络模型； 将经过梯度反转层处理后的特征进行融 合， 再送入模态判别器， 然后由判别器损失函数 进行训练； 训练完成的网络模型， 在人脸检索过 程只利用融合特征与人脸库中的特征进行对比， 从而识别出这个人脸的身份。 本发 明还提供一种 电子设备和一种计算机可读存储介质， 可以最小 化不同模态的图像之间的差异。 权利要求书2页 说明书5页 附图1页 CN 115082987 A 2022.09.20 CN 115082987 A 1.一种基于梯度自适应机制的人脸识别方法， 其特 征在于， 包括如下步骤： 步骤1、 构建网络模型， 所述网络模型采用双流结构， 即上下两个主干网络； 两个所述主 干网络采用卷积神经网络； 步骤2、 采集RGB人脸图像和非 RGB人脸图像分别作为两个所述主干网络的输入； 步骤3、 通过所述卷积神经网络分别提取RGB人脸图像和非RGB 人脸图像的特征信息， 得 到特征f1和特征f2； 步骤4、 将特征f1和特征f2进行特征融合， 得到特征f12， 再将特征f12依次经过全局平均 池化、 分类层和分类损失函数进行训练， 优化网络模型； 步骤5、 将特征f1和特征f2分别单独经过全局平均池化处理后， 再分别单独进入梯度反 转层约束 整个网络模型； 步骤6、 将经过梯度反转层处理后的特征f1和特征f2进行融合， 再送入模态判别器来分 类两个模态， 然后由判别器损失函数进行训练， 优化网络模型； 步骤7、 训练完成的网络模型， 在人脸检索过程只利用特征f12作为一个人脸的特征表 示， 与人脸库中的特 征进行对比， 从而识别出这个人脸的身份。 2.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法， 其特征在于， 所述 卷积神经网络采用ResNet5 0、 DenseNet121或Ef ficientNet。 3.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法， 其特征在于， 所述 步骤3中通过所述卷积神经网络分别提取RGB人脸图像和非RGB人脸图像的特征信息， 具体 是： 通过卷积神经网络对RGB人脸图像和非RGB人脸图像进行卷积、 池化和激活函数处理后 提取出对应的特 征信息。 4.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法， 其特征在于， 所述 步骤4具体包括： 通过通道级联的方式将特征f1和特征f2进行特征融合， 得到特征f12， 再将特征f12通过 全局平均池化处理后得到每个图像的特征值； 然后 将每个图像的特征值送入分类层处理后 得到对每个图像的分类预测 值； 再利用分类标签结合分类损失函数进行优化训练， 分类损 失函数计算出分类预测值和图像的标签差异， 并逐渐缩小差异， 进 而优化网络模型。 5.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法， 其特征在于， 所述 模态判别器由4个线性分类层组成。 6.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法， 其特征在于， 所述 步骤6中由判别器损失函数进行训练， 所述判别器损失函数L如下 所示： 其中， L表示判别器损失函数， n表示样本总数量， p表示代表概率 分布， Mm代表模态， m＝1 时为RGB模态， m＝0时为非RGB模态， D表示判别器参数， E表示数学期望， x表示样本， 表示 主干网络提取 特征的参数， θD表示模态判别器的参数。 7.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法， 其特征在于， 所述 模态判别器是为了缩小不同模态之 间的差异， 而 前面的特征提取过程却会混淆该模态判别权　利　要　求　书 1/2 页 2 CN 115082987 A 2器， 因此它们之 间存在对抗博弈的过程， 因此采用梯度反转层反转梯度约束整个网络模型， 反转梯度约束表达式为 其中， L表示判别器损失函数， 表示主干网络提取特征 的参数； 其中， λ表达式如下： 其中β 随着训练过程按间隔0.1随着迭代 次数每增 加20次依次逐渐增大， 范围为0 到1。 8.根据权利要求1所述的一种基于梯度自适应机制的人脸识别方法， 其特征在于， 所述 分类损失函数采用交叉熵损失函数， 所述判别器损失函数采用交叉熵损失函数。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至8任一项所述的一种 基于梯度自适应机制的人脸识别方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至8任一项所述的一种基于梯度自适应机制的人脸识别方法。权　利　要　求　书 2/2 页 3 CN 115082987 A 3