(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210736459.2 (22)申请日 2022.06.27 (71)申请人 青岛理工大 学 地址 266000 山东省青岛市青岛经济技 术 开发区嘉陵江路7 77号 (72)发明人 陈成军　赵希聪　王金磊　史宏思　 (74)专利代理 机构 福州科扬专利事务所(普通 合伙) 35001 专利代理师 魏珊珊 (51)Int.Cl. G06V 40/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于运动激励聚合和时序差分模型的装配 动作识别模型 (57)摘要 本发明涉及基于运动激励聚合和时序差分 模型的装配动作识别模型， 包括依次连接的二维 卷积层、 4个残差模块、 全 连接层和全局平均池化 层； 二维卷积层对输入的数据进行特征提取， 并 将提取到的数据特征输入第一个残差模块； 输入 的数据为包含若干帧的视频； 各残差模块依次对 输入的数据进行特征提取， 并传输给下一个残差 模块， 第四个残差模块将提取到的数据特征输入 全连接层； 全 连接层和全局平均池化层根据输入 的数据特征完成平均所有帧的预测结果和装配 动作类型的识别， 并将识别结果输出。 本发明以 装配动作视频数据作为网络输入， 输出对应装配 动作类型， 实现了端到端的动作类型识别。 权利要求书2页 说明书6页 附图4页 CN 115116135 A 2022.09.27 CN 115116135 A 1.基于运动激励聚合和时序差分模型的装配动作识别模型， 其特征在于， 包括依次连 接的二维卷积层、 4个残差模块、 全连接层和全局平均池化层； 所述二维卷积层对输入的数据进行特征提取， 并将提取到的数据 特征输入第 一个残差 模块； 所述输入的数据为包 含若干帧的视频； 第一个残差模块对输入的数据 特征进行特征提取， 并将提取到的数据 特征输入第 二个 残差模块； 第二个残差模块对输入的数据特征进行特征提取， 并将提取到的数据特征输入 第三个残差模块； 第三个残差模块对输入的数据特征进行特征提取， 并将提取到的数据特 征输入第四个残差模块； 第四个残差模块对输入的数据特征进行特征提取， 并将提取到的 数据特征输入全连接层； 所述全连接层和所述全局平均池化层根据输入的数据特征完成平均所有帧的预测结 果和装配动作类型的识别， 并将识别结果输出。 2.根据权利要求1所述基于运动激励聚合和时序差分模型的装配动作识别模型， 其特 征在于， 所述残差模块具体为： 输入的特征图A依次经过的1 ×1的二维卷积层、 运动激励模块、 时间整合模块、 1 ×1的 二维卷积层、 时序差分模块和1 ×1的二维卷积层， 得到处 理后的特 征图A1； 将所述特 征图A和所述特 征图A1相加并输出； 所述运动激励模块在时空特征维度上通过计算时空差异来激发特征通道之间的运动 敏感特性； 所述时间整合模块通过多尺度残差架构， 对输入的特征图进行子卷积操作， 使每一个 装配动作视频帧完成多个时间层次上的时间聚合； 所述时序差分模块 通过计算 跨段序列的时间差异完成对时序特 征的增强。 3.根据权利要求2所述基于运动激励聚合和时序差分模型的装配动作识别模型， 其特 征在于， 所述 运动激励模块具体为： 对输入的特 征图X进行1 ×1的卷积处 理； 对相邻的两特征图进行时序分离， 将时间t+1时的特征图经过3 ×3卷积处理后与时间t 时的特征图相减， 得到时间步t的运动级特 征M； 通过全局平均池化层总结空间信息； 通过1×1的2D卷积 将所述运动级特 征M的通道维度扩展为原 始通道维度C； 通过sigmo id函数得到运动注意权 重A； 通过残差连接将所述特 征图X和注意力权 重A进行融合， 并输出。 4.根据权利要求3所述基于运动激励聚合和时序差分模型的装配动作识别模型， 其特 征在于， 所述时间聚合模块具体为： 将输入的特 征图Y沿通道维度分割成四个形状为[N,T,C,H,W]的子片段 X1， X2， X3和X4； 将所述子片段 X1作为子片段 X1D； 对子片段 X2进行一维时间卷积和二维空间卷积处 理， 得到子片段X2D； 将所述子片段X2D与所述子片段X3相加后， 进行一维时间卷积和二维空间卷及处理， 得 到子片段X3D； 将所述子片段X3D与所述子片段X4相加后， 进行一维时间卷积和二维空间卷及处理， 得 到子片段X4D；权　利　要　求　书 1/2 页 2 CN 115116135 A 2将所述子片段 X1， X2D， X3D和X4D联结后得到特 征图XD， 并输出。 5.根据权利要求4所述基于运动激励聚合和时序差分模型的装配动作识别模型， 其特 征在于， 所述时序差分模块具体为： 使用卷积 操作来对输入的特 征图F的通道维度压缩为比率r， 对t和t+1时刻的所述特 征图F分别进行 卷积处理， 得到t和t+1时刻的特 征图F11和F12； 将所述特 征图F12减去t时刻的所述特 征图F， 得到特 征图F21； 将t+1时刻的所述特 征图F减去所述特 征图F11， 得到特征图F22； 将所述特征图F21和F22分别依次进行池化处理， 卷积处理和上采样， 得到特征图F31和 F32； 将所述特 征图F12经过卷积处理后， 与所述特 征图F21和F31相加， 得到特 征图F41； 将所述特 征图F11经过卷积处理后， 与所述特 征图F22和F32相加， 得到特 征图F42； 将所述特 征图F41和F42分别依次经 过卷积处理和激活函数激活后相加， 得到特 征图F5； 对所述特征图F和所述特征图F5进行点乘处理后， 再与所述特征图F相加， 得到特征图 F’， 并输出。 6.根据权利要求1所述基于运动激励聚合和时序差分模型的装配动作识别模型， 其特 征在于， 训练过程包括以下步骤： 使用疏松时间采样策略对变长 视频进行采样； 利用运动激励模块获取增强短程时间特 征信息； 利用时间聚合模块对长程时间特 征信息进行建模； 通过时序差分模块利用跨段时间结构增强帧级特 征表示； 对网络进行迭代， 直到 达到设定的训练次数， 保存训练过程中最优 模型参数。权　利　要　求　书 2/2 页 3 CN 115116135 A 3