(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210501712.6 (22)申请日 2022.05.09 (71)申请人 网易 （杭州） 网络有限公司 地址 310056 浙江省杭州市滨江区长河街 道网商路59 9号4幢7层 (72)发明人 赖章炯　毕梦霄　吕唐杰　范长杰　 胡志鹏　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 李翔 (51)Int.Cl. G06F 16/783(2019.01) G06F 40/30(2020.01) G06N 20/00(2019.01) G10L 15/02(2006.01) (54)发明名称 动作生成方法、 装置、 电子设备及存 储介质 (57)摘要 本申请提供一种动作生成方法、 装置、 电子 设备及存储介质。 该方法包括： 根据输入的文本 数据和语音数据提取与语音数据对应的节奏点； 根据节奏点切分输入数据以确定多个输入片段； 其中， 每个输入片段包括特征数据； 按照所述多 个输入片段的时序关系， 依次针对每个所述输入 片段， 根据所述输入片段的特征数据从预先构建 的动作数据库中查询是否存在与所述输入片段 对应的动作片段， 一旦在动作数据库中检测到存 在与所述输入片段对应的动作片段， 则合成每个 所述输入片段对应的所述动作片段， 获得与所述 输入数据对应的动作序列， 从而提高了动作的自 然度和细腻度， 由于无需解决过多的冲突， 系统 的维护变得简单， 保证 了系统的鲁棒 性。 权利要求书3页 说明书16页 附图7页 CN 114911973 A 2022.08.16 CN 114911973 A 1.一种动作生成的方法， 其特 征在于， 包括： 获取输入数据； 所述输入数据包 含文本数据及对应的语音数据； 根据所述文本数据和所述语音数据确定所述语音数据对应的节奏 点； 根据所述节奏点对所述输入数据进行切分， 获得多个输入片段， 其中， 每个所述输入片 段包含一个文本片段及对应的语音片段； 其中， 每 个所述输入片段包括特 征数据； 按照所述多个输入片段的时序关系， 依次针对每个所述输入片段， 根据所述输入片段 的特征数据从预 先构建的动作数据库中查询是否存在与所述输入片段对应的动作片段； 响应于存在所述动作片段， 合成每个所述输入片段对应的所述动作片段， 获得与所述 输入数据对应的动作序列。 2.根据权利要求1所述的方法， 其特征在于， 所述动作数据库中包含多条动作数据， 每 条所述动作数据包 含一个动作片段及所述动作片段对应的信息数据。 3.根据权利要求2所述的方法， 其特征在于， 所述信息数据包含以下信息： 所述动作片 段对应的语料文本、 语音数据、 语料 标签、 词性序列、 语音节奏 点。 4.根据权利要求2所述的方法， 其特征在于， 所述动作 数据库中的动作片段为根据动捕 文档进行动作捕捉获得的虚拟角色的动作； 其中， 所述动捕文档包 含语料文本、 语料 标签。 5.根据权利要求3或4所述的方法， 其特征在于， 所述语料标签包含情感标签和语义标 签。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述输入片段的特征数据从预先 构建的动作数据库中查询是否存在与所述输入片段对应的动作片段， 包括： 确定所述输入片段对应的特 征数据中是否包 含语义标签； 若所述输入片段中包含语义标签， 则根据 所述输入片段的特征数据从所述动作数据库 中的语义动作片段中查询是否存在与所述输入片段匹配的目标语义动作片段， 所述动作片 段包含所述语义动作片段； 若存在所述目标语义动作片段， 则为所述输入片段分配所述目标语义动作片段。 7.根据权利要求6所述的方法， 其特征在于， 所述为所述输入片段分配所述目标语义动 作片段， 包括： 确定所述目标语义动作片段包 含的子动作片段； 将所述目标语义动作片段包含的子动作片段依次分配给从所述输入片段开始的多个 输入片段。 8.根据权利要求7所述的方法， 其特征在于， 所述将所述目标语义动作片段包含的子动 作片段依次分配给从所述输入片段开始的每 个输入片段之前， 还 包括： 根据所述输入片段的所述语义标签对多个所述输入片段进行分区； 确定待分配所述目标语义动作片段的子动作片段的多个输入片段属于同一个分区。 9.根据权利要求6所述的方法， 其特 征在于， 所述方法还 包括： 若不存在所述目标语义动作片段或所述输入片段对应的特征数据中不包含语义标签， 则确定所述输入片段对应的特 征数据中所包 含的第一情感标签是否为第一预设类型 标签； 若所述第一情感标签为所述第 一预设类型标签， 则从所述动作 数据库中具有所述第 一 预设类型标签的动作片段中查询与所述第一情感标签匹配的情感动作片段， 所述动作片段 包含所述情感动作片段；权　利　要　求　书 1/3 页 2 CN 114911973 A 2若查询到所述情感动作片段， 则为所述输入片段分配所述情感动作片段。 10.根据权利要求9所述的方法， 其特征在于， 所述为所述输入片段分配所述情感动作 片段， 包括： 确定所述情感动作片段包 含的子动作片段； 将所述情感动作片段包含的子动作片段依次分配给从所述输入片段开始的多个输入 片段。 11.根据权利要求9所述的方法， 其特 征在于， 所述方法还 包括： 若所述输入片段对应的特征数据中所包含的第一情感标签不为所述第一预设类型标 签， 或者未查询 到与所述第一情感标签匹配的情感动作片段， 则从所述动作数据库中具有 第二预设类型标签的动作片段中查询与所述输入片段匹配的中性动作片段， 所述动作片段 包含所述中性动作片段； 若查询到所述中性动作片段， 则为所述输入片段分配所述中性动作片段。 12.根据权利要求11所述的方法， 其特征在于， 所述为所述输入片段分配所述第 二动作 片段， 包括： 确定所述中性动作片段包 含的子动作片段； 将所述中性动作片段包含的子动作片段依次分配给从所述输入片段开始的多个输入 片段。 13.根据权利要求1 1所述的方法， 其特 征在于， 所述方法还 包括： 若未查询到与 所述输入片段匹配的中性动作片段， 则从所述动作数据库中具有目标标 签的动作片段中查询与所述输入片段匹配的目标动作片段； 若查询到所述目标动作片段， 则为所述输入片段分配所述目标动作片段。 14.根据权利要求6所述的方法， 其特征在于， 所述根据所述输入片段的特征数据从所 述动作数据库中的语义动作片段中查询是否存在与所述输入片段匹配的目标语义动作片 段， 包括： 根据所述输入片段的特 征数据获得 所述输入片段对应的语音片段的长度； 将所述目标语义动作片段的长度与所述语音片段的长度进行比较， 获得长度比较结 果； 将所述目标语义动作片段与上一个查询得到的动作片段进行比较， 获得过渡代价结 果； 根据所述长度比较结果和/或所述过渡代价结果， 确定所述动作数据库中的所述目标 语义动作片段 是否与所述输入片段匹配。 15.根据权利要求1所述的方法， 其特征在于， 所述根据所述文本数据和所述语音数据 确定所述语音数据对应的节奏 点之前， 所述方法还 包括： 按照文本顺序将所述文本数据划分为多个词组； 利用词性 提取工具依次提取每 个词组的词性以确定所述文本数据对应的词性序列。 16.根据权利要求15所述的方法， 其特征在于， 所述根据 所述文本数据和所述语音数据 确定所述语音数据对应的节奏 点， 具体包括： 提取所述语音数据的静音点； 确定所述静音点是否存在于任意 一个词组内；权　利　要　求　书 2/3 页 3 CN 114911973 A 3