(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210806373.2 (22)申请日 2022.07.08 (71)申请人 际络科技 （上海） 有限公司 地址 202150 上海市崇明区长兴镇江南大 道1333弄11号楼001室4座 (72)发明人 贺克赛　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 李相雨 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 视线估计方法及装置 (57)摘要 本发明提供一种视线估计方法及装置， 涉及 自动驾驶技术领域， 该方法包括： 获取人脸图像 及人脸图像中的眼睛图像； 将所述人脸图像和眼 睛图像输入至预设的视线估计模 型， 得到所述视 线估计模型输出的第一视线和第二视线； 根据所 述第一视线和所述第二视线确定视线估计结果， 其中， 所述视线估计模型是以人脸样本图像和眼 睛样本图像为输入， 与人脸样 本图像和眼睛样本 图像对应的样本视线为标签训练得到的。 本发明 不仅仅采用眼睛图像来估计视线， 而是结合了人 脸图像和眼睛图像共同估计视线， 由于人脸特征 的辅助， 解决了受眼部周围光环 境影响很难准确 地估计视线的问题， 达 到了更准确的估计效果。 权利要求书2页 说明书8页 附图3页 CN 115393921 A 2022.11.25 CN 115393921 A 1.一种视线估计方法， 其特 征在于， 包括： 获取人脸图像及人脸图像中的眼睛图像； 将所述人脸图像和眼睛图像输入至预设的视线估计模型， 得到所述视线估计模型输出 的第一视线和第二视线； 根据所述第一视线和所述第二视线确定 视线估计结果， 其中， 所述视线估计模型是以人脸样本 图像和眼睛样本 图像为输入， 与人脸样本 图像 和眼睛样本图像对应的样本 视线为标签训练得到的， 所述视线估计模型用于分别提取所述人脸图像和眼睛图像的人脸特征和眼部特征， 根 据由所述人脸特征和眼部特征组成的两种融合特征分别估计所述第一视线和所述第二视 线。 2.根据权利要求1所述的视线估计方法， 其特征在于， 所述视线估计模型包括： 第一估 计子模型和第二估计子模型， 所述将人脸图像和眼睛图像输入至预设的视线估计模型， 得 到所述视线估计模型输出的第一视线和第二视线， 包括： 将所述人脸图像输入第一估计子模型， 以提取人脸特征， 将眼睛图像输入第二估计子 模型， 以提取眼部特 征； 所述第一估计子模型获取所述眼部特征， 与所述人脸特征融合以形成第一融合特征， 所述第二估计子模型获取 所述人脸特 征， 与所述眼部特 征融合， 以形成所述第二融合特 征； 所述第一估计子模型根据所述第 一融合特征输出所述第 一视线， 所述第 二估计子模型 根据所述第二融合特 征输出所述第二视线。 3.根据权利要求2所述的视线估计方法， 其特征在于， 所述第一融合特征为： 将人脸特 征和眼部特 征通过加运 算融合。 4.根据权利要求2所述的视线估计方法， 其特征在于， 所述第二融合特征为： 将人脸特 征和眼部特 征通过乘运 算融合。 5.根据权利要求2所述的视线估计方法， 其特征在于， 在将人脸图像和眼睛图像输入至 预设的视线估计模型之前， 还 包括： 训练所述视线估计模型， 训练过程如下： 将所述人脸样本图像和眼睛样本图像分别且同时输入第一估计子模型和第二估计子 模型； 第一估计子模型和第二估计子模型分别提取 出人脸样本特 征和眼部样本特 征； 所述第一估计子模型获取所述眼部样本特征， 与 所述人脸样本特征融合以形成第 一样 本融合特征， 所述第二估计子模 型获取所述人脸样本特征， 与所述眼部样本特征融合， 以形 成所述第二样本融合特 征； 基于所述第 一样本融合特征和第 二样本融合特征， 第 一估计子模型和第 二估计子模型 分别输出第一估计结果和第二估计结果； 以所述样本视线为标签， 连同所述第一估计结果带入预设的第一损 失函数， 以所述样 本视线为标签， 连同所述第二估计结果带入预设的第二损失函数， 并在两个所述损失函数 均收敛时， 训练完成。 6.根据权利要求5所述的视线估计方法， 其特征在于， 所述第 一损失函数和第 二损失函 数均为均方损失函数：权　利　要　求　书 1/2 页 2 CN 115393921 A 2其中， n为人脸样本图像数量， 也为眼睛样本图像 的数量， i＝1,2, …,n， target为样本 视线的俯仰角和偏移角， 对于第一估计子模型， pred为第一估计结果中视线的俯仰角和偏 移角， 对于第二估计子模型， pred为第二估计结果中视线的俯仰角和偏移角， 当pred接近于 target， 并使损失值 loss小于预定阈值时， 则认为所述均方损失函数收敛， 训练完成。 7.根据权利要求6所述的视线估计方法， 其特征在于， 对第 一损失函数和第 二损失函数 求和， 当各损失函数中， pred接近于target， 并使两个损失函数的损失值loss之和小于预定 阈值时， 则认为所述均方损失函数收敛， 训练完成。 8.根据权利要求1～7中任一项所述的视线估计方法， 其特征在于， 所述根据所述第一 视线和所述第二视线确定 视线估计结果， 包括： 计算所述第一视线和所述第二视线的平均值， 将所述平均值确定为所述视线估计结 果。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1～8任一项所 述视线估计方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1～8任一项所述视线估计方法。权　利　要　求　书 2/2 页 3 CN 115393921 A 3