(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210861312.6 (22)申请日 2022.07.20 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 (72)发明人 刘帅　朱新升　杨智远　吴连朋　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 任嘉文 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 40/16(2022.01) G10L 25/63(2013.01) (54)发明名称 基于情绪识别的模型驱动方法及设备 (57)摘要 本申请涉及三 维重建技术领域， 提供一种基 于情绪识别的模 型驱动方法及设备， 对获取的目 标对象的人脸图像和语音数据进行了完整性判 断， 当人脸图像和语音数据只有一个数据完整 时， 基于完整的人脸图像或语音数据进行情绪识 别， 从而解决由于面部遮挡或语音数据传输失 败， 导致的面部情绪识别准确率较低或者无法识 别出面部情绪的问题； 当人脸图像和语音数据两 个均完整时， 基于完整的人脸图像和语音数据进 行情绪识别， 提高情绪识别的准确性， 进而用 情 绪识别得到的情绪参数优化参数化头部模型的 初始驱动参数， 从而将面部情绪引入目标驱动参 数中， 使得基于目标驱动参数进行参数化头部模 型的重建和驱动时， 能够提高模 型的真实感和重 建精度。 权利要求书2页 说明书12页 附图6页 CN 115049016 A 2022.09.13 CN 115049016 A 1.一种基于情绪识别的模型驱动方法， 其特 征在于， 包括： 获取目标对象的人脸图像和语音数据； 分别确定所述人脸图像和所述语音数据是否 完整； 若所述人脸图像不完整， 但所述语音数据完整， 则对所述语音数据进行情绪识别， 得到 情绪参数； 若所述人脸图像完整， 但所述语音数据不完整， 则对所述人脸图像进行情绪识别， 得到 情绪参数； 若所述人脸图像完整， 且所述语音数据完整， 则分别对所述人脸图像和所述语音数据 进行情绪识别， 得到融合后的情绪 参数； 根据情绪参数调整预先构建的所述目标对象对应的参数化头部模型的初始驱动 参数， 得到目标驱动参数； 将所述目标驱动参数传输给渲染终端， 以使所述渲染终端根据所述目标驱动参数， 驱 动所述参数化头 部模型。 2.如权利要求1所述的方法， 其特 征在于， 通过以下 方式确定所述人脸图像是否 完整： 从所述人脸图像中提取 人脸特征点； 若所述人脸特 征点的数量大于预设数量阈值， 则确定所述人脸图像完整； 若所述人脸特 征点的数量小于等于所述预设数量阈值， 则确定所述人脸图像不完整。 3.如权利要求1所述的方法， 其特 征在于， 通过以下 方式确定所述语音数据是否 完整： 确定所述语音数据的时长； 若所述时长大于设定时长阈值， 则确定所述语音数据完整； 若所述时长小于等于所述设定时长阈值， 则确定所述语音数据不完整。 4.如权利要求1所述的方法， 其特征在于， 分别对所述人脸图像和所述语音数据进行情 绪识别， 得到融合后的情绪 参数， 包括： 从所述人脸图像中提取第一子情绪参数， 以及从所述语音数据中提取第二子情绪参 数； 按照预设权重， 对所述第一子情绪参数和所述第二子情绪参数进行加权， 得到融合后 的情绪参数。 5.如权利要求4所述的方法， 其特征在于， 所述从所述人脸图像中提取第一子情绪参 数， 以及从所述语音数据中提取第二子情绪 参数， 包括： 从所述人脸图像中提取图像特 征， 并根据所述图像特 征进行情绪分类； 根据所述人脸图像对应的各类情绪的特 征向量， 生成第一子情绪 参数； 从所述语音数据中提取声 音特征， 并根据所述声 音特征进行情绪分类； 根据所述语音数据对应的各类情绪的特 征向量， 生成第二子情绪 参数。 6.如权利要求1所述的方法， 其特 征在于， 得到所述目标驱动参数后， 所述方法还 包括： 对所述人脸图像进行语义分割， 得到 头部的各个组件； 从所述目标驱动参数中， 选择 出与各个组件分别关联的局部驱动参数； 所述将所述目标驱动参数传输给渲染终端， 以使所述渲染终端根据所述目标驱动参 数， 驱动所述 参数化头 部模型， 包括： 将所述各个组件分别关联的局部驱动 参数传输给渲染终端， 以使所述渲染终端根据 所权　利　要　求　书 1/2 页 2 CN 115049016 A 2述各局部驱动参数， 分别驱动所述目标对象对应的参数化头 部模型中的相应组件。 7.如权利要求1所述的方法， 其特征在于， 当所述人脸图像为深度图像时， 所述方法还 包括： 从所述深度图像中提取所述目标对象头部的几何数据， 并将所述几何数据传输给所述 渲染终端， 以使所述 渲染终端根据所述几何数据校正所述 参数化头 部模型。 8.如权利要求1 ‑7中任一项所述的方法， 其特征在于， 所述目标驱动参数包括目标姿态 参数和目标表情参数。 9.一种重建设备， 其特征在于， 包括相机、 麦克风， 图形工作站， 所述图形工作站包括处 理器、 存储器和通信接口， 所述 通信接口、 所述存 储器和所述处 理器通过总线连接； 所述存储器包括数据存储单元和程序存储单元， 所述程序存储单元存储有计算机程 序， 所述处 理器根据所述计算机程序， 执 行以下操作： 通过所述通信接口， 获取所述相机采集的目标对象的人脸图像， 以及所述麦克风采集 的所述目标对象的语音数据， 并将获取的人脸图像和语音数据存 储至所述数据存 储单元； 分别确定所述人脸图像和所述语音数据是否 完整； 若所述人脸图像不完整， 但所述语音数据完整， 则对所述语音数据进行情绪识别， 得到 情绪参数； 若所述人脸图像完整， 但所述语音数据不完整， 则对所述人脸图像进行情绪识别， 得到 情绪参数； 若所述人脸图像完整， 且所述语音数据完整， 则分别对所述人脸图像和所述语音数据 进行情绪识别， 得到融合后的情绪 参数； 根据情绪参数调整预先构建的所述目标对象对应的参数化头部模型的初始驱动 参数， 得到目标驱动参数； 通过所述通信接口， 将所述目标驱动参数传输给渲染终端， 以使所述渲染终端根据所 述目标驱动参数， 驱动所述 参数化头 部模型。 10.如权利要求9所述的重建设备， 其特征在于， 所述处理器分别对所述人脸图像和所 述语音数据进行情绪识别， 得到融合后的情绪 参数， 具体操作为： 从所述人脸图像中提取第一子情绪参数， 以及从所述语音数据中提取第二子情绪参 数； 按照预设权重， 对所述第一子情绪参数和所述第二子情绪参数进行加权， 得到融合后 的情绪参数。权　利　要　求　书 2/2 页 3 CN 115049016 A 3