(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210703368.9 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114783069 A (43)申请公布日 2022.07.22 (73)专利权人 中山大学深圳研究院 地址 518000 广东省深圳市南 山区科技园 南区粤海街道粤兴四道1号中山大学 深圳产学研大楼15层 (72)发明人 苏航　刘海亮　汤武惊　张怡　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 任敏 (51)Int.Cl. G06V 40/20(2022.01)G06V 20/40(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 114220061 A,202 2.03.22 CN 10896 0207 A,2018.12.07 CN 10982 9378 A,2019.0 5.31 CN 10839 9380 A,2018.08.14 审查员 唐嘉 (54)发明名称 基于步态识别对象的方法、 装置、 终端设备 及存储介质 (57)摘要 本申请适用于设备管 理技术领域， 提供了一 种基于步态识别对象的方法、 装置、 终端设备及 存储介质， 方法包括： 接收待识别的目标视频数 据； 将所述目标视频数据导入预设的帧间动作提 取网络， 得到帧间动作特征数据； 将所述帧间动 作特征数据导入池化融合网络， 输出所述目标视 频数据对应的融合特征数据； 所述融合特征数据 包含为多通道的特征数据； 基于所述融合特征数 据生成多个特征片段， 并将所有所述特征片段输 入至投票时间相关模块， 生 成所述目标对象 的分 类结果； 每个所述特征片段对应一个分类类别； 根据所述分类结果确定所述目标对象的行为类 别。 采用上述方法能够大大降低了视频数据在进 行行为识别过程 准确性。 权利要求书3页 说明书19页 附图9页 CN 114783069 B 2022.11.08 CN 114783069 B 1.一种基于步态 识别对象的方法， 其特 征在于， 包括： 接收待识别的目标视频 数据； 将所述目标视频数据导入预设的帧间动作提取网络， 得到帧间动作特征数据； 所述帧 间动作特 征数据用于确定所述目标视频 数据中相邻的视频图像帧之间的动作特 征信息； 将所述帧间动作特征数据导入池化融合网络， 输出所述目标视频数据对应的融合特征 数据； 所述融合特 征数据包含为多通道的特 征数据； 基于所述融合特征数据生成多个特征片段， 并将所有所述特征片段输入至投票时间相 关模块， 生成目标对象的分类结果； 每 个所述特 征片段对应一个分类 类别； 根据所述分类结果确定所述目标对象的行为类别； 所述投票 时间相关模块包括多个置信度单元； 所述基于所述融合特征数据生成多个特 征片段， 并通过投票时间相关模块输出 各个所述特 征片段对应的分类结果， 包括： 通过一维空间卷积层在空间维度上对所述融合特征数据进行池化处理， 生成多个所述 特征片段； 每 个所述特 征片段对应一个所述分类 类别； 根据所述目标对象的步态特征信息， 生成多个卷积核； 每个所述卷积核对应一个动作 捕捉帧率； 每 个所述动作捕捉帧率是根据所述分类 类别确定的； 分别将各个所述特征片段输入至与 所述分类类别对应的所述置信度单元， 输出关于所 述分类类别的置信度参量； 所述置信度单元是根据与所述分类类别关联的动作捕捉帧率的 卷积核生成的； 根据所有所述置信度参 量生成所述分类结果。 2.根据权利要求1所述的方法， 其特征在于， 在所述基于所述融合特征数据生成多个特 征片段， 并通过投票时间相关模块输出 各个所述特 征片段对应的分类结果之前， 还 包括： 获取多个第一样本组； 所述第一样本组内包含行为类别相同的多个第一样本行为视 频； 根据所述第 一样本组对原始相关模块进行训练学习， 以使所述原始相关模块的第 一相 似度损失小于第一损失阈值， 生成一次校正模块； 所述第一相似度损失为： 其中， 为所述第一相似度损失值； Sam为所述第一样本组； 为所述 第一样本 组内的第i个第一样本行为视频； 为所述第i个第一样本行为视频的条 件概率分布； 为所述第i个第一样本行为视频的行为类型； 权　利　要　求　书 1/3 页 2 CN 114783069 B 2为任意两个第一样本行为视频的对间距离； N为所述第一样本组内包含的视频总数； θ为所 述原始相关模块的学习参数； 为行为相似度函数； λ为预设系数； 获取第二样本组； 所述第二样本内包 含多个不同行为类别的第二样本行为视频； 根据所述第 二样本组对一 次校正模型进行训练学习， 以使所述一 次校正模型的第 二相 似度损失小于第二损失阈值， 生成所述投票时间相关模块。 3.根据权利要求1所述的方法， 其特征在于， 在所述接收待识别的目标视频数据之前， 还包括： 获取用于对行为识别模块进行训练 的样本视频数据； 所述行为识别模块包括所述帧间 动作提取网络、 所述池化融合网络以及所述投票时间相关模块； 根据所述样本视频数据生成正样本数据以及负样本数据； 所述正样本数据是对所述样 本视频数据中的背景信息进行干扰处理后得到的； 所述负样本数据是对所述样本视频数据 中的样本 视频帧的帧序列进行干扰处 理后得到的； 通过所述正样本数据生成第 一空间信 息以及第 一光流信 息， 以及通过所述负样本数据 生成第二空间信息以及第二 光流信息； 根据所述第一空间信息以及所述第二空间信息得到空间增强信息； 根据所述第二 光流信息以及所述第一 光流信息得到光 流增强信息； 将所述空间增强信 息以及所述光流增强信 息导入所述行为识别模块， 得到所述样本视 频数据的训练识别结果； 基于所有所述样本视频数据的所述训练识别结果对初始识别模块内的位置学习参量 进行预训练， 得到所述行为识别模块。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述样本视频数据生成正样本数 据以及负 样本数据， 包括： 标记出所述样本视频数据的各个样本视频帧中的样本对象， 并将除所述样本对象外的 其他区域识别为背景区域； 通过预设的薄板样条对所述背景区域进行插值处 理， 得到空间干扰图像帧； 根据各个空间干扰图像帧在所述样本视频数据中的帧序号进行封装， 得到所述正样本 数据。 5.根据权利要求3所述的方法， 其特征在于， 所述根据所述样本视频数据生成正样本数 据以及负 样本数据， 包括： 根据预设的动作时间时长， 将所述样本视频数据划分为多个视频段； 每个所述视频段 的段落时长不大于所述动作时间时长； 根据预设的乱序处 理算法， 分别更新各个所述视频 段内的所述样本 视频帧的帧序号； 基于更新后的帧序号对各个所述样本 视频帧进行封装， 得到所述负 样本数据。 6.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 所述将所述目标视频数据导入预 设的帧间动作提取网络， 得到帧间动作特 征数据， 还包括： 确定所述目标视频 数据内任意两个连续的视频图像帧的图像张量； 根据所述目标对象在所述视频图像帧的关键位置， 确定多个特征点坐标； 所述特征点 坐标是根据所述目标对象的步态行为确定的；权　利　要　求　书 2/3 页 3 CN 114783069 B 3