(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210853030.1 (22)申请日 2022.07.20 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 李活力　尤立凯　刘煜伟　焦苏芮　 颜钰人　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 周初冬 (51)Int.Cl. G06Q 10/06(2012.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/80(2022.01) (54)发明名称 智能设备用户体验处理方法和系统、 电子设 备、 存储介质 (57)摘要 本发明提供一种智能设备用户体验处理方 法和系统、 电子设备、 存储介质， 该方法， 包括： 采 集用户使用智能设备时的人脸图像； 依据视线追 踪， 获取用户所操作的操作页面信息； 对人脸图 像进行表情识别， 得到表情识别结果； 将表情识 别结果与 操作页面信息结合， 得到用户不同心理 情绪下操作的界面及凝视点结果； 从而融合表情 识别及视线追踪的技术， 能够捕获客户使用体验 感受愉快的具体场景及具体元素， 使用体验感受 糟糕的具体场景及具体元素， 通过后台的处理反 馈到产品负责人， 持续对智能设备进行功能改 进， 这对于使用者是无感知的， 帮助银行网点持 续改善服 务质量。 权利要求书2页 说明书8页 附图7页 CN 115187098 A 2022.10.14 CN 115187098 A 1.一种智能设备用户体验处 理方法， 其特 征在于， 包括： 采集用户使用智能设备时的人脸图像； 依据视线追踪， 获取 所述用户所操作的操作页面信息； 对所述人脸图像进行表情识别， 得到表情识别结果； 将所述表情识别结果与所述操作页面信 息结合， 得到所述用户不同心 理情绪下操作的 界面及凝 视点结果。 2.根据权利要求1所述的智能设备用户体验处理方法， 其特征在于， 所述采集用户使用 智能设备时的人脸图像， 包括： 通过预设频率采集所述用户使用智能设备时的人脸图像。 3.根据权利要求1所述的智能设备用户体验处理方法， 其特征在于， 所述采集用户使用 智能设备时的人脸图像， 包括： 接收视线追踪模块的请求， 触发采集用户使用智能设备时的人脸图像。 4.根据权利要求1所述的智能设备用户体验处理方法， 其特征在于， 所述依据视线追 踪， 获取所述用户所操作的操作页面信息， 包括： 根据视线追踪， 实时定位所述用户在操作页面的凝 视点； 依据所述凝视点， 保存符合预设条件的操作页面， 并记录凝视点在所述操作页面的坐 标。 5.根据权利要求1所述的智能设备用户体验处理方法， 其特征在于， 所述依据视线追 踪， 获取所述用户所操作的操作页面信息， 包括： 采集所述人脸图像时触发依据视线追踪， 获取 所述用户所操作的操作页面信息 。 6.根据权利要求1所述的智能设备用户体验处理方法， 其特征在于， 对所述人脸图像进 行表情识别， 得到表情识别结果， 包括： 将所述人脸图像输入至表情识别模型进行表情识别， 得到所述表情识别结果。 7.一种智能设备用户体验处 理系统， 其特 征在于， 包括： 人脸采集模块， 用于采集用户使用智能设备时的人脸图像； 界面采集模块， 用于依据视线追踪， 获取 所述用户所操作的操作页面信息； 识别模块， 用于对所述人脸图像进行表情识别， 得到表情识别结果； 关联模块， 用于将所述表情识别结果与所述操作页面信息结合， 得到所述用户不同心 理情绪下操作的界面及凝 视点结果。 8.根据权利要求7 所述的智能设备用户体验处 理系统， 其特 征在于， 还 包括： 视线追踪模块， 用于根据所述用户眼球运动实时计算用户在所述操作界面的注视坐 标， 并在所述注视坐标在预设范围内且超过预设时间时， 触发界面采集模块和所述采集模 块执行相应动作。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储装置， 其上存 储有一个或多个程序； 当一个或多个程序被一个或多个处理器执行时， 使得一个或多个处理器实现如权利要 求1‑6中任一项所述的智能设备用户体验处 理方法。 10.一种存储介质， 其特征在于， 其上存储有计算机程序， 其中， 计算机程序被处理器执权　利　要　求　书 1/2 页 2 CN 115187098 A 2行时实现如权利要求1 ‑6中任一项所述的智能设备用户体验处 理方法。权　利　要　求　书 2/2 页 3 CN 115187098 A 3