(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211036632.4 (22)申请日 2022.08.29 (65)同一申请的已公布的文献号 申请公布号 CN 115114537 A (43)申请公布日 2022.09.27 (73)专利权人 成都航空职业 技术学院 地址 610199 四川省成 都市龙泉驿区车城 东七路69 9号 (72)发明人 杨湘伶　 (74)专利代理 机构 西安正华恒远知识产权代理 事务所(普通 合伙) 61271 专利代理师 陈选中 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/9532(2019.01)G06F 40/289(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 19/00(2011.01) G09B 5/14(2006.01) (56)对比文件 CN 111258433 A,2020.0 6.09 CN 107172157 A,2017.09.15 CN 110221694 A,2019.09.10 CN 111538456 A,2020.08.14 CN 113032694 A,2021.0 6.25 CN 109313484 A,2019.02.0 5 审查员 曾婉琳 (54)发明名称 一种基于文件内容识别的互动虚拟教具实 现方法 (57)摘要 本发明公开了一种基于文件内容识别的互 动虚拟教具实现方法， 包括以下步骤： 提取使用 对象的实时教学动作， 并基于使用对象的实时教 学动作在预先建立的动作习惯模型中预测得到 使用对象的将来时教学动作； 依据将来时教学动 作对由使用对象、 使用对象所处的现时场景和互 动虚拟场景虚实融合得到的互动教学场景进行 将来时融合预调整。 本发明构建动作习惯模型以 预测得到使用对象的将来时教学动作， 无需使用 对象进行场景适应， 直接利用虚实结合的互动教 学场景进行提前适应使用者的动作习惯， 为使用 对象提供更好的用户体验的同时， 降低了互动教 学场景的融合滞后性 来提高虚实互动的流畅性。 权利要求书3页 说明书6页 附图1页 CN 115114537 B 2022.11.22 CN 115114537 B 1.一种基于文件内容识别的互动虚拟教具实现方法， 其特 征在于： 包括以下步骤： 步骤S1、 提取教具文件内容中的教具关键词， 并基于教具关键词在预先建立虚拟场景 预测模型中提取出共性化虚拟场景， 将教具关键词 与共性化虚拟场景对应的场景关键词进 行比较筛选出教具关键词中的个性化关键词， 再基于个性化关键词在 共性化虚拟场景中添 加个性化虚拟元 素以定制出符合教具文件的互动虚拟场景； 步骤S2、 提取使用对象的实时教学动作， 并基于使用对象的实时教学动作在预先建立 的动作习惯模型中预测得到使用对象的将来时教学动作； 步骤S3、 依据将来时教学动作对由使用对象、 使用对象所处的现时场景和互动虚拟场 景虚实融合得到的互动教学场景进行将来时融合预调整， 以降低互动教学场景的融合滞后 性来提高虚实互动的流畅性； 所述基于教具关键词在预 先建立虚拟场景 预测模型中提取 出共性化虚拟场景， 包括： 将教具关键词输入至所述虚拟场景预测模型中， 由虚拟场景预测模型输出教具虚拟场 景可选序列， 以及教具虚拟场景 可选序列中每 个教具虚拟场景的匹配度； 选取匹配度最高的教具虚拟场景作为所述共性 化虚拟场景； 所述虚拟场景 预测模型的构建包括： 将学科教材中所有表征教具实验的教具文件进行三维虚拟搭建得到多个虚拟教具场 景， 并将表征教具实验的教具文件的教具关键词作为虚拟教具场景的场景关键词； 在表征教具实验的教具文件的教具关键词抽取部分教具关键词作为样本关键词， 将样 本关键词与场景关键词进 行等数量处理， 并计算样本关键词与所述场景关键词的相似度作 为样本关键词与场景关键词对应的虚拟教具场景的匹配度作为样本匹配度， 所述样本匹配 度的计算公式为： ； 式中， Xi为第i个样本关键词的词向量， EX为所有样本关键词的均值向量， Yi为第i个场 景关键词的词向量， EY为所有场景关键词的均值向量， i为计量常数， N为场景关键词的总数 量与样本关键词的总数量中的最大值； 将所述样本关键词作为DNN神经网络的训练输入项， 将所述样本关键词与场景关键词 对应的虚拟教具场景、 以及所述样本匹配度作为DNN神经网络的训练输出项， 将DNN神经网 络应用与训练输入项和训练输出项中进行网络训练得到所述虚拟场景预测模型， 所述虚拟 场景预测模型的模型表达式为： List[Scene,I]=DN N(key_word)； 式中， Scene为虚拟教具场景的表达式标识符， I为匹配度的表达式标识符， key_word为 关键词的表达式标识符， DN N为DNN神经网络的表达式标识符， L ist为序列的表达式标识符； 所述基于使用对象的实时教学动作在预先建立的动作习惯模型中预测得到使用对象 的将来时教学动作， 包括： 将使用对象的实时教学动作输入至动作习惯模型中， 并有动作习惯模型输出使用者的 将来时教学动作；权　利　要　求　书 1/3 页 2 CN 115114537 B 2所述动作习惯模型的构建包括： 捕捉使用对象的多组连续教学习惯动作， 并在多组连续教学习惯动作进行时序拆解得 到多组习惯动作时序序列， 其中， 所述习惯动作时序序列的每个时序 处数据序列包括动作 时序、 使用对象位移量、 使用对象朝 向方位变化量， 所述习惯动作时序序列的函数表达式 为： {tj:[ΔPj,ΔHj]|j∈[1,M]}， 式中， tj为第j个动作时序， ΔPj为第j个动作时序处的使用 对象位移量， ΔHj为第j个动作时序处的使用对象朝向方位变化量， j为计量常数， M为习惯 动作时序 序列中动作时序总数量； 利用LSTM网络对所述习惯动作时序序列进行网络训练得到所述动作习惯模型， 所述动 作习惯模型的模型表达式为： Future{ t:[ΔP,ΔH]}=LSTM(N ow{ t:[ΔP,ΔH]})； 式中， Future{  t:[ΔP,ΔH]}为将来时的动作时序、 使用对象位移量、 使用对象朝向方 位变化量， Now{  t:[ΔP,ΔH]}为现在时的动作时序、 使用对象位移量、 使用对象朝向方位 变化量，j为计量常数。 2.根据权利要求1所述的一种基于文件内容识别的互动虚拟教具实现方法， 其特征在 于： 利用TF ‑IDF算法在教具文件内容中提取 所述教具关键词。 3.根据权利要求2所述的一种基于文件内容识别的互动虚拟教具实现方法， 其特征在 于： 所述教具关键词 与共性化虚拟场景对应的场景关键词进 行比较筛选出教具关键词中的 个性化关键词， 包括： 将教具关键词与共性化虚拟场景对应的场景关键词进行比较， 并在教具关键词中剔除 场景关键词， 将剩余的教具关键词作为个性 化关键词。 4.根据权利要求3所述的一种基于文件内容识别的互动虚拟教具实现方法， 其特征在 于： 所述基于个性化关键词在 共性化虚拟场景中添加个性化虚拟元素以定制出符合教具文 件的互动虚拟场景， 包括： 将个性化关键词进行三维虚拟构建得到个性化虚拟元素， 并将个性化虚拟元素融合至 所述共性 化虚拟场景中得到所述互动虚拟场景。 5.根据权利要求4所述的一种基于文件内容识别的互动虚拟教具实现方法， 其特征在 于， 所述将来时融合预调整， 包括： 将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的使用对象位移 量进行位置移动， 并将将来时教学动作的动作时序处互动虚拟场景依据将来时教学动作的 使用对象朝 向方位变化量进行朝 向移动， 以使得互动虚拟场景对使用对象具有动态跟随 性。 6.根据权利要求5所述的一种基于文件内容识别的互动虚拟教具实现方法， 其特征在 于， 所述将 样本关键词与场景关键词进行等数量处 理， 包括： 当样本关键词的总数量与场景关键词的总数量不一致， 则将样本关键词的总数量与场 景关键词的总数量中最少的一方利用零向量数量补齐； 当样本关键词的总数量与场景关键词的总数量一致， 则维持样本关键词与场景关键词 不变。 7.根据权利要求6所述的一种基于文件内容识别的互动虚拟教具实现方法， 其特征在 于， 所述互动教学场景的虚实 融合包括： 采集使用对象、 使用对象所 处的现时场景的实景图权　利　要　求　书 2/3 页 3 CN 115114537 B 3