(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211085380.4 (22)申请日 2022.09.06 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 颜延　任旭超　陈宇骞　王磊　 熊璟　 (74)专利代理 机构 深圳市铭粤知识产权代理有 限公司 4 4304 专利代理师 孙伟峰　武岑飞 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于FPGA实现的运动活动识别模型的模型 训练方法及其设备 (57)摘要 本申请提出了一种基于FPGA实现的运动活 动识别模型的模 型训练方法、 终端设备以及计算 机可读存储介质。 所述方法包括： 获取人类活动 识别数据集， 并从人类活动识别数据集划分人类 活动识别训练集和人类活动识别测试集； 将人类 活动识别训练集输入卷积神经网络进行训练， 其 中， 卷积神经网络包括若干组卷积IP核， 以及全 连接IP核； 利用人类活动识别测试集测试训练完 成的卷积神经网络， 获取训练完成的卷积神经网 络的性能评估信息。 本申请通过以FPGA作为硬件 平台， 鉴于FPGA在深度学习加速方面的可行性， 研究人体行为识别模型的FPGA实现； 在基于UCI ‑ HAR的人体运动识别上， 搭建了一个具有BN融合 结构的卷积神经网络用于硬件实现， 减少了内存 的消耗， 并取得非常好的分类结果。 权利要求书2页 说明书9页 附图6页 CN 115471910 A 2022.12.13 CN 115471910 A 1.一种基于FPGA实现的运动活动识别模型的模型训练方法， 其特征在于， 所述模型训 练方法包括： 获取人类活动识别数据集， 并从所述人类活动识别数据集划分人类活动识别训练集和 人类活动识别测试集； 将所述人类活动识别训练集输入卷积神经网络进行训练， 其中， 所述卷积神经网络包 括若干组卷积IP核， 以及全连接IP核； 利用所述人类活动识别测试集测试训练完成的卷积神经网络， 获取所述训练完成的卷 积神经网络的性能评估信息 。 2.根据权利要求1的模型训练方法， 其特 征在于， 所述卷积IP核包括卷积层、 归一 化层以及激活函数。 3.根据权利要求2所述的模型训练方法， 其特 征在于， 所述卷积IP核的详细运 算过程如下： 其中， 每个输出矩阵的大小是N ‑m+l， 其中， 中的l表示第l个卷积层， i表示第i个卷 积输出矩阵的某个值， j表示对应的输出矩阵的编号， 从左往右依次表 示为0到N， N表 示卷积 输出矩阵的个数。 f表示非线性激活函数。 4.根据权利要求2所述的模型训练方法， 其特 征在于， 所述归一 化层的详细运 算过程如下： 其中， μ为一个batch内的均值， σ2为一个batch内的标准差， ε为一个预设常数， γ和β 均 为一个可学习的参数， 在训练过程中， 和其 他卷积核的参数一样， 通过梯度下降来学习。 5.根据权利要求1所述的模型训练方法， 其特 征在于， 所述全连接IP核设置于所述卷积神经网络的输出端， 用于实现所述卷积神经网络最终 的分类输出。 6.根据权利要求1所述的模型训练方法， 其特 征在于， 所述将所述人类活动识别训练集输入卷积神经网络进行训练之后， 所述模型训练方法 还包括： 将所述训练完成的卷积神经网络的权值参数和偏置参数保存为预设文件格式， 并存入 初始化的存 储卡， 输入到测试平台进行测试。 7.根据权利要求6所述的模型训练方法， 其特 征在于， 所述利用所述人类活动识别测试集测试训练完成的卷积神经网络， 获取所述训练完成 的卷积神经网络的性能评估信息， 包括： 将所述人类活动识别测试集传输到所述测试平台， 以使所述测试平台按照所述人类活 动识别测试集对所述存 储卡中的权值 参数和偏置参数组成的卷积神经网络进行测试； 获取所述测试平台上的卷积神经网络返回的分类结果；权　利　要　求　书 1/2 页 2 CN 115471910 A 2基于所述分类结果计算所述卷积神经网络的性能评估信息 。 8.根据权利要求7 所述的模型训练方法， 其特 征在于， 所述性能评估信息的类型包括平均准确率、 查全率、 查准率以及F1值中的一种或多种 指标类型。 9.一种终端设备， 其特征在于， 所述终端设备包括处理器、 与所述处理器连接的存储 器， 其中， 所述存储器存储有程序指令； 所述处理器用于执行所述存储器存储的程序指令以实现如权利要求1至8所述的基于 FPGA实现的运动活动识别模型的模型训练方法。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有程序指令， 所述程序 指令被执行时实现如权利要求1至8所述的基于FPGA实现的运动活动识别模型的模型训练 方法。权　利　要　求　书 2/2 页 3 CN 115471910 A 3