(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210789721.X (22)申请日 2022.07.05 (71)申请人 上海云思智慧信息技 术有限公司 地址 200000 上海市长 宁区天山路641号19 幢(1号楼)5 01G室 (72)发明人 孙建伟　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 专利代理师 张燕 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/30(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 人脸追踪网络的搭建/人脸追踪 方法、 系统、 介质及终端 (57)摘要 本发明提供一种人脸追踪网络的搭建/人脸 追踪方法、 系统、 介质及终端， 所述人脸追踪网络 是通过所述人脸追踪网络的搭建方法搭建而成； 所述人脸追踪方法包括： 从待检测的人脸数据中 读取当前帧， 并将其输入至所述人脸追踪网络； 通过所述人脸追踪网络提取当前帧中的人脸融 合特征； 将当前帧的人脸融合特征与上一帧的人 脸融合特征进行比对， 当比对结果为一致时， 利 用所述人脸追踪网络产生的边界框标注人脸； 循 环运行上述步骤， 以便通过所述边界框追踪待检 测的人脸数据中的人脸。 本发明可以通过搭建的 最优的人脸追踪网络精确跟踪指定场景中的人 脸， 使得人脸跟踪不再受到姿势、 比例 、 表达式和 光照的变化 等条件的限制。 权利要求书2页 说明书11页 附图4页 CN 115205937 A 2022.10.18 CN 115205937 A 1.一种人脸追踪网络的搭建方法， 其特 征在于， 包括： 获取人脸追踪训练数据集； 所述人脸追踪训练数据集包括若干人脸图像； 从人脸图像中提取低级特征和高级特征； 所述低级特征用于表征人脸的局部特征； 所 述高级特 征用于表征 人脸的细节特 征； 根据提取的低级特征和高级特征， 形成人脸融合特征， 并利用所述人脸融合特征对人 脸追踪网络进行训练， 以搭建最优的人脸追踪网络； 所述最优的人脸追踪网络用于产生标 注人脸的边界框 。 2.根据权利要求1所述的人脸追踪 网络的搭建方法， 其特征在于， 在从人脸图像中提取 低级特征和高级特征 的步骤之前， 所述人脸追踪网络的搭建方法还包括： 对人脸图像进行 预处理； 所述对人脸图像进行 预处理的步骤 包括： 滤除人脸图像中的噪声； 将滤除噪声后的人脸图像进行RGB到 HSV的转换； 将转换后的人脸图像进行背景移除， 以获取背景移除后的人脸图像。 3.根据权利要求1或2所述的人脸追踪网络的搭建方法， 其特征在于， 根据提取的低级 特征和高级特征， 形成人脸的融合特征， 并利用所述人脸的融合特征对人脸追踪网络进行 训练， 以搭建最优的人脸追踪网络的步骤 包括： ： 为提取的低级特征和高级特征分别分配第i个第 一权重系数和第i个第 二权重系数， 形 成第i个人脸融合特征； 第i个第一权重系数等于第i ‑1个第一权重系数加预设步进量， 第i 个第二权重系数等于第i ‑1个第二权重系数减 预设步进量； 或第i个第一权重系数等于第i ‑ 1个第一权重系数减预设步进量， 第i个第二个权重系数等于的i ‑1个权重系数加预设步进 量； 第i个第一权 重系数加第i个第二权 重系数等于1； 其中， i大于1； 将第i个人脸融合特征输入至人脸追踪网络进行人脸预测， 获取到第i个人脸预测结 果； 将第i个人脸预测结果与人脸的真实信息进行损失计算； 循环执行上述步骤， 直至计算得到最小损 失， 通过最小损 失查找到与之对应的最优第 一权重系数和最优第二权 重系数； 通过最优第一权重系数和最优第二权重系数形成的最优人脸融合特征训练所述人脸 追踪网络， 形成最优的人脸追踪网络 。 4.一种基于人脸追踪网络的人脸追踪方法， 其特征在于， 所述人脸追踪网络是通过权 利要求1至 3任一所述人脸追踪网络的搭建方法搭建而成； 所述人脸追踪方法包括： 从待检测的人脸数据中读取当前帧， 并将其输入至所述人脸追踪网络； 通过所述人脸追踪网络提取当前帧中的人脸融合特 征； 将当前帧的人脸融合特征与上一帧的人脸融合特征进行比对， 当比对结果为一致时， 利用所述人脸追踪网络产生的边界框标注人脸； 循环运行 上述步骤， 以便通过 所述边界框追踪 待检测的人脸数据中的人脸。 5.根据权利要求4所述的基于人脸追踪 网络的人脸追踪方法， 其特征在于， 所述人脸融 合特征包括低级特征和高级特征； 所述低级特征用于表征人脸的局部特征； 所述高级特征 用于表征 人脸的细节特 征。 6.根据权利要求5所述的基于人脸追踪 网络的人脸追踪方法， 其特征在于， 将当前帧的权　利　要　求　书 1/2 页 2 CN 115205937 A 2人脸融合特 征与上一帧的人脸融合特 征进行比对的步骤 包括： 将当前帧的低级特 征和上一帧的低级特 征进行比对； 将当前帧的高级特 征和上一帧的高级特 征进行比对； 当当前帧的低级特征和上一帧的低级特征的比对结果为一致， 当前帧的高级特征和上 一帧的高级特 征的比对结果 为一致， 表示当前帧追踪的人脸与上一帧追踪的人脸 一致。 7.根据权利要求4所述的基于人脸追踪 网络的人脸追踪方法， 其特征在于， 从待检测的 人脸数据中读取当前帧之前， 所述人脸追踪方法还 包括： 对待检测的人脸数据进行 预处理； 对待检测的人脸数据进行 预处理的步骤 包括： 滤除待检测的人脸数据中的噪声； 将滤除噪声后的人脸数据进行RGB到 HSV的转换； 将转换后的人脸数据进行背景移除， 以获取背景移除后的人脸数据。 8.一种人脸追踪网络的搭建系统， 其特 征在于， 包括： 数据获取模块， 用于获取人脸追踪训练数据集； 所述人脸追踪训练数据集包括若干人 脸图像； 提取模块， 用于从人脸图像中提取低级特征和高级特征； 所述低级特征用于表征人脸 的局部特 征； 所述高级特 征用于表征 人脸的细节特 征； 融合训练模块， 用于根据提取的低级特征和高级特征， 形成人脸融合特征， 并利用所述 人脸融合特征对人脸追踪网络进行训练， 以搭建最优的人脸追踪网络； 所述最优的人脸追 踪网络用于产生标注人脸的边界框 。 9.一种基于人脸追踪网络的人脸追踪系统， 其特征在于， 所述人脸追踪网络是通过权 利要求8所述人脸追踪网络搭建系统搭建而成； 所述人脸追踪系统包括： 读取模块， 用于从待检测的人脸数据中读取当前帧， 并将其输入至所述人脸追踪网络； 提取模块， 用于通过 所述人脸追踪网络提取当前帧中的人脸融合特 征； 比对模块， 用于将当前帧的人脸融合特征与上一帧的人脸融合特征进行比对， 当比对 结果为一致时， 利用所述人脸追踪网络产生的边界框标注人脸； 处理模块， 用于循环运行上述模块， 以便通过所述边界框追踪待检测的人脸数据中的 人脸。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现权利要求 1至3中任一项 所述人脸追踪网络搭建方法和/或权利要求4至7中任一 项所述基于人脸追踪网络的人脸追踪方法。 11.一种终端， 其特 征在于， 包括： 处 理器及存 储器； 所述存储器用于存储计算机程序， 所述处理器用于执行所述存储器存储的计算机程 序， 以使所述终端执行如权利要求1至3中任一项所述人脸追踪网络搭建方法和/或权利要 求4至7中任一项所述基于人脸追踪网络的人脸追踪方法。权　利　要　求　书 2/2 页 3 CN 115205937 A 3