(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210878274.5 (22)申请日 2022.07.25 (71)申请人 成都理工大 学 地址 610059 四川省成 都市成华区二仙桥 东三路1号 (72)发明人 易诗　王铖　程兴豪　 (74)专利代理 机构 成都弘毅天承知识产权代理 有限公司 5123 0 专利代理师 聂红霞 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双光谱融合的三段式人脸识别方法 (57)摘要 本发明公开了基于双光谱融合的三段式人 脸识别方法， 涉及人脸识别技术领域， 解决现有 无法同时对抗多种欺骗手段的问题， 包括获取待 识别目标的可见光图像和热红外图像， 第一阶段 检测， 若第一阶段检测结果为真， 则进行第二阶 段检测， 当第二阶段检测的识别结果为真时， 将 所述融合图像作为识别数据输入训练生成好的 双光谱融合人脸识别网络模型， 获得第三识别结 果； 本发明以防目前流行欺骗手段攻击为目的， 利用热红外图像和可见光图像优势互补的特点， 实现以双光谱图像融合为干线的三段式活体检 测， 充分体现了双光谱融合进行活体检测的思 想， 同时可以在不同阶段就完成不同攻击手段的 识别， 大大提高了识别的精准性以及运行速度， 能同时对抗多种欺骗手段。 权利要求书3页 说明书12页 附图7页 CN 115188054 A 2022.10.14 CN 115188054 A 1.基于双光谱融合的三段式人脸识别方法， 其特 征在于， 包括如下步骤： 步骤1、 获取待识别目标的可 见光图像和热红外图像； 步骤2、 第 一阶段检测： 将可见光图像输入基于分数阶微分的卷积神经网络人脸识别算 法， 得到第一识别结果； 将热 红外图像输入加权紧凑局部图结构的人脸识别算法， 得到第二 识别结果； 步骤3、 第二阶段检测： 若第一识别结果和第二识别结果均为真， 则将第一阶段检测通 过后的可见光图像和热 红外图像进行融合配准得到融合图像， 计算第一阶段检测通过后的 可见光图像和融合图像之间的距离差LA， 第一阶段检测通过后的热红外图像和融合图像之 间的距离差LB， 并求和LA+LB即得到总距离差Ds， 引入非线性函数得到距离差函数， 该距离差 函数的取值范围为(0,1)， 当总距离 差Ds小于阈值q＝0.4时， 识别结果 为真； 步骤4、 第三阶段检测： 当第二阶段检测的识别结果为真时， 将所述融合图像作为识别 数据输入训练生成好的双光谱融合人脸识别网络模型， 获得第三识别结果。 2.根据权利要求1所述的基于双光谱融合的三段式人脸识别方法， 其特征在于， 步骤3 中， 可见光图像与热 红外图像采用surf算法对图像进 行配准， 后选用基于P CNN和IFS的方法 进行可见光图像和热红外图像融合。 3.根据权利要求1所述的基于双光谱融合的三段式人脸识别方法， 其特征在于， 双光谱 融合人脸识别网络包括1个卷积层、 1个最大池化层、 3个多 卷积层级 联均值网络、 2个滤波器 级联、 1个平均池化层、 1个卷积层和1个分类网络， 生成特 征图后输入人脸识别分类网络 。 4.根据权利要求3所述的基于双光谱融合的三段式人脸识别方法， 其特征在于， 多卷积 层级联均值网络包括2个最大池化层、 7个卷积层和2个滤波器级联。 5.根据权利要求4所述的基于双光谱融合的三段式人脸识别方法， 其特征在于， 人脸识 别分类网络包括1层CBAM， 1层卷积层及3层全连接层， 从3层全连接层输出并经过softmax后 输出识别结果。 6.根据权利要求1所述的基于双光谱融合的三段式人脸识别方法， 其特征在于， 步骤3 中， 距离差函数设计的步骤如下： 步骤Ⅰ、 定义可见光图像A与融合图像C像素点之间的距离为d(A， C)； 热红外图像B与融 合图像C像素点之间的距离为d(B， C)， 其中， N＝m×n， Ai、 Ci、 Bi为为可见光图像A、 热红外图像B和融合图像C的像素值； 使用滑动窗口对图像进行分块， 然后再对每 个子图像 计算距离 差， 其计算形式为： D0(A,B,C)＝sAd(A,C)+sBd(B,C)  (3) 式(3)中sA、 sB为滑动窗口中图像的标准差所占比值， 进一步体现出源图像与融合图像 的相似性， 计算形式为： 权　利　要　求　书 1/3 页 2 CN 115188054 A 2其中， std(A,w),std(B,w)为图像滑动窗口中的标准差， 其计算形式为： 其中 μA、 μB为灰度均值， 然后计算总距离 差， 即： 步骤Ⅱ、 引入非线性 函数， 并将式(10)代入， 其表现形式为： 式(11)为最终的距离 差函数且取值范围为(0,1)。 7.根据权利要求1或5所述的基于双光谱融合的三段式人脸识别方法， 其特征在于， 双 光谱融合人脸识别网络模型的训练方法包括： 步骤A、 获取训练数据， 所述训练数据包括对应的真实标签； 步骤B、 将训练数据输入未训练的双光谱融合人脸识别网络模型， 获得输出 结果； 步骤C、 基于所述输出 结果与所述真实标签确定损失函数； 步骤D、 基于损失函数对所述双光谱融合人脸识别网络进行迭代训练， 获得训练完成的 双光谱融合人脸识别网络 。 8.根据权利要求7所述的基于双光谱融合的三段式人脸识别方法， 其特征在于， 损失函 数采用类别预测和中心点预测进行关联度量， 包括人脸类别损失和中心点定位损失， 定义 为： 其中， n为训练时一次性加载的数据集大小， 即batchsize， 为各类别概率预测值， θi为 中心点和人脸类别的真实值； 中心点定位损失Llocation也采用均方误差形式， 定义式如下： 权　利　要　求　书 2/3 页 3 CN 115188054 A 3