(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210832652.6 (22)申请日 2022.07.15 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 康来　张亚坤　刘星宇　张辉泽　 魏迎梅　蒋杰　谢毓湘　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 手势识别方法及相关 设备 (57)摘要 本申请提供一种手势识别方法及相关设备。 该方法包括： 获取手势数据； 对手势数据进行数 据解码， 得到解码数据； 对解码数据进行空间位 置索引投影得到累加信息； 对累加信息进行多维 投影得到多维投影结果； 将多维投影结果输入经 过训练的手势识别模型， 输出手势数据对应的识 别标签， 并根据手势数据对应的识别标签得到手 势识别结果。 简化了投影过程中的计算冗余， 提 高数据处理效率， 并增加了时间信息的利用， 保 障信息得到充分利用， 能够 有效提升手势识别准 确率。 权利要求书2页 说明书10页 附图6页 CN 115205974 A 2022.10.18 CN 115205974 A 1.一种手势 识别方法， 其特 征在于， 包括： 获取手势数据； 对所述手势数据进行 数据解码， 得到解码数据； 对所述解码数据进行空间位置索引投影得到累加信息； 对所述累加信息进行多维投影得到多维投影结果； 将所述多维投影结果输入经过训练 的手势识别模型， 输出所述手势数据对应的识别标 签， 并根据所述手势数据对应的识别标签得到手势 识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述解码数据包括多个事件， 所述事件包 括横坐标、 纵坐标和时间； 所述对所述 解码数据进行空间位置索引投影得到累加信息， 包括： 通过对所述解码数据进行空间位置索引投影， 以定位亮度变化的目标空间位置， 并从 所述解码数据中的全部事 件获取所述目标空间位置的事 件； 对所述目标空间位置的事 件对应的横坐标、 纵坐标和时间进行积分， 得到累加信息 。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述累加信 息进行多维投影得到多 维投影结果， 包括： 对所述目标空间位置的事 件对应的横坐标和纵坐标进行多维投影， 得到第一投影； 对所述目标空间位置的事件对应的横坐标和时间进行多维投影， 得到第二投影， 并对 所述第二投影进行等间隔采样， 得到第一 等间隔采样投影； 对所述目标空间位置的事件对应的纵坐标和时间进行多维投影， 得到第三投影， 并对 所述第三投影进行等间隔采样， 得到第二 等间隔采样投影； 将所述第一等间隔采样投影和所述第 二等间隔采样投影分别进行转置， 得到第 一转置 投影和第二 转置投影； 将所述第一投影、 所述第 一转置投影和所述第 二装置投影进行叠加融合得到多维投影 结果。 4.根据权利要求1所述的方法， 其特征在于， 所述手势识别模型通过以下过程进行训练 获得： 获取经过预处理 的训练数据集和真实标签， 并将所述训练数据集划分为训练集和测试 集； 将所述训练集中的训练数据输入预先构建的预训练模型进行训练， 得到经过训练的预 训练模型； 将所述测试集中的测试数据输入所述经过训练的预训练模型， 以对所述训练数据关于 预训练模型 的训练进行测试， 得到测试集中测试手势数据对应的测试识别标签， 并将所述 测试手势数据对应的测试识别标签与所述真实手势识别标签进行差异对比， 得到对比结 果； 响应于所述对比结果大于等于预设的阈值， 重复执行将所述训练集中的训练数据输入 预训练模型进行训练的过程， 以对所述经过训练的预训练模型的参数进行调整， 直至所述 对比结果小于所述预设的阈值为止， 得到训练完成的预训练模型， 将所述训练完成的预训 练模型作为所述手势 识别模型。 5.根据权利要求1所述的方法， 其特 征在于， 所述手势 识别模型为脉冲神经网络模型。权　利　要　求　书 1/2 页 2 CN 115205974 A 26.根据权利要求1所述的方法， 其特征在于， 所述根据所述手势数据对应的识别标签得 到手势识别结果， 包括： 获取历史手势数据的识别标签对应的动作信息； 根据所述手势数据对应的识别标签对所述历史手势数据的识别标签进行查询， 得到与 所述手势数据对应的识别标签相同的历史手势数据的识别标签， 并获取与所述手势数据对 应的识别标签相同的历史手势数据的识别标签对应的动作信息， 将所述动作信息作为手势 识别结果。 7.根据权利要求1所述的方法， 其特征在于， 所述对所述手势数据进行数据解码， 得到 解码数据， 包括： 根据预设的时间戳对所述手势数据进行划分， 得到所述 解码数据。 8.一种手势 识别装置， 其特 征在于， 包括： 数据获取模块， 被 配置为获取手势数据； 数据解码模块， 被 配置为对所述手势数据进行 数据解码， 得到解码数据； 索引投影模块， 被 配置为对所述 解码数据进行空间位置索引投影得到累加信息； 多维投影模块， 被 配置为对所述累加信息进行多维投影得到多维投影结果； 手势识别模块， 被配置为将所述多维投影结果输入经过训练的手势识别模型， 输出所 述手势数据对应的识别标签， 并根据所述手势数据对应的识别标签得到手势 识别结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方 法。 10.一种非暂态计算机可读存储介质， 所述非暂态计算机可读存储介质存储计算机指 令， 其特征在于， 所述计算机指令用于使计算机执 行权利要求1至7任一所述方法。权　利　要　求　书 2/2 页 3 CN 115205974 A 3