(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210325901.2 (22)申请日 2022.03.30 (71)申请人 北京物灵科技有限公司 地址 100102 北京市朝阳区望京东园523号 楼13层216 3号06室 (72)发明人 尚跃进　李来林　宋伟　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 谢明晖 (51)Int.Cl. G06V 40/16(2022.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G10L 13/02(2013.01) G10L 15/02(2006.01)G10L 15/26(2006.01) G10L 25/63(2013.01) (54)发明名称 一种基于情绪识别的语音提 示方法及系统 (57)摘要 本申请公开了一种基于情绪识别的语音提 示方法及系统， 属于情绪识别技术领域， 语音提 示方法包括， 采集用户的当前面部图像， 根据当 前面部图像得到用户的当前面部情绪状态； 采集 用户的当前语音数据， 根据当前语音数据、 上一 次用户的阅读情绪状态和语义信息， 得到用户的 当前语音情绪状态和当前语音含义； 将当前面部 情绪状态、 当前语音情绪状态和当前语音含义输 入到深度学习模 型， 得到用户的当前阅读情绪状 态和当前语义信息； 根据当前阅读情绪状态， 生 成相应的语音提示信息。 本申请通过用户的面部 图像和语音数据， 综合计算出用户的当前阅读情 绪状态， 并根据用户的阅读情绪状态与用户互 动， 从而帮助用户更有效地投入阅读中。 权利要求书2页 说明书8页 附图4页 CN 114758385 A 2022.07.15 CN 114758385 A 1.一种基于情绪识别的语音提 示方法， 其特 征在于， 所述语音提 示方法包括： 采集用户的当前面部图像， 根据所述当前面部图像得到用户的当前面部情绪状态； 采集用户的当前语音数据， 根据所述当前语音数据、 上一次用户的阅读情绪状态和语 义信息， 得到用户的当前语音情绪状态和当前语音含义； 将所述当前面部情绪状态、 所述当前语音情绪状态和所述当前语音含义输入到深度 学 习模型， 得到用户的当前阅读 情绪状态和当前语义信息； 以及， 根据所述当前阅读 情绪状态， 生成相应的语音提 示信息。 2.根据权利要求1所述的一种基于情绪识别的语音提示方法， 其特征在于， 所述根据 所 述当前面部图像得到用户的当前面部情绪状态， 包括： 根据所述当前面部图像， 得到用户的当前面部特 征数据； 以及， 基于预设表情数据库， 根据所述当前面部特征数据得到对应的当前面部情绪状态； 其 中， 所述预设表情数据库包括多组面部特 征数据与面部情绪状态的对应关系。 3.根据权利要求1所述的一种基于情绪识别的语音提示方法， 其特征在于， 所述根据 所 述当前语音数据、 上一次用户的阅读情绪状态和语义信息， 得到用户的当前语音情绪状态 和当前语音含义包括： 对所述当前语音数据进行语音信号处理并提取语音特征， 基于预设的声学模型、 语言 模型以及词典对所述语音特 征进行处 理， 得到语音 文本； 根据预设词库对所述语音文本进行解析并提取文本特征， 基于预设的文本语义库和文 本情绪库， 得到文本情绪和初始语音含义； 根据预设权重规则， 基于所述文本情绪、 初始语音含义、 上一次用户的阅读情绪状态和 语义信息， 计算得到用户的当前语音情绪状态和当前语音含义。 4.根据权利要求1所述的一种基于情绪识别的语音提示方法， 其特征在于， 所述语音提 示方法还 包括： 预先训练所述深度学习模型； 所述训练所述深度学习模型， 具体包括： 获取用户情绪集， 按照预设比例将用户情绪集配置为训练情绪集和测试情绪集； 其中， 所述用户情绪 集包括用户的历史语音情绪状态和历史面部情绪状态； 对所述用户情绪 集进行特征提取， 得到特 征结果； 选择预设的深度 学习模型， 根据所述特征结果对所述预设的深度 学习模型进行参数调 整； 基于所述训练情绪集对所述预设的深度学习 模型进行训练， 得到训练后的深度 学习模 型； 根据所述测试情绪 集对所述训练后的深度学习模型进行测试， 得到深度学习模型。 5.根据权利要求4所述的一种基于情绪识别的语音提示方法， 其特征在于， 所述预设的 深度学习模型包括深度神经网络模型、 循环神经网络模型以及卷积神经网络模型中的一种 或几种。 6.根据权利要求1到5任一所述的一种基于情绪识别的语音提示方法， 其特征在于， 所 述根据所述当前阅读 情绪状态， 生成相应的语音提 示信息包括： 根据所述当前阅读情绪状态， 将所述当前阅读情绪状态与预设情绪反馈库进行比对， 得到所述语音提示信息； 其中， 所述预设情绪反馈库包括多组阅读情绪状态与语音反馈提权　利　要　求　书 1/2 页 2 CN 114758385 A 2示的对应关系。 7.根据权利要求6所述的一种基于情绪识别的语音提示方法， 其特征在于， 在所述得到 用户的当前阅读 情绪状态后还 包括： 获取预设时间段内的阅读情绪状态， 统计各个阅读情绪状态对应的累计次数和累计持 续时长， 并生成阅读状态信息； 以及， 将所述阅读状态信息发送至移动终端。 8.一种基于情绪识别的语音提 示系统， 其特 征在于， 所述语音提 示系统包括： 面部情绪状态生成模块， 用于采集用户的当前面部 图像， 并根据所述当前面部 图像得 到用户的当前面部情绪状态； 语音情绪状态生成模块， 用于采集用户的当前语音数据， 并根据 所述当前语音数据、 上 一次用户的阅读 情绪状态和语义信息， 得到用户的当前语音情绪状态和当前语音含义； 阅读情绪状态生成模块， 用于将所述当前面部情绪状态、 所述当前语音情绪状态和所 述当前语音含义输入到深度学习模型， 得到用户的当前阅读情绪状态和当前语义信息； 以 及， 语音提示信息生成模块， 用于根据所述当前阅读 情绪状态， 生成相应的语音提 示信息。 9.一种计算机设备， 其特征在于， 包括： 存储器和 处理器， 所述存储器上存储有可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序时实现如权利要求 1至7中任一项 所述的方法。 10.一种计算机可读存储介质， 其特征在于： 存储有能够被处理器加载并执行如权利要 求1至7中任一种方法的计算机程序。权　利　要　求　书 2/2 页 3 CN 114758385 A 3