(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210819628.9 (22)申请日 2022.07.12 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 郑喜民　胡浩楠　舒畅　陈又新　 (74)专利代理 机构 深圳市明日今典知识产权代 理事务所(普通 合伙) 44343 专利代理师 王杰辉　石良武 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于强化学习的视频分类方法、 装置和计算 机设备 (57)摘要 本申请为人工智能技术的强化学习技术领 域， 本申请提供了一种基于强化学习的视频分类 方法、 装置和计算机设备， 其中， 方法包括： 获取 待分类视频的当前视频帧和视觉关注 点； 将当前 视频帧和上一视频帧的分类得分输入归因模型， 生成特征图和第一注意力图， 归因模 型的损失函 数包括面积损失子函数； 根据当前视频帧和视觉 关注点生 成视觉关注图； 将视觉关注图输入视觉 显著性模型生成第二注意力图； 将第二注意力图 与所述第一注意力图融合， 生成第三注意力图； 根据第三注 意力图和特征图生 成特征向量； 根据 特征向量获取当前视频帧的分类得分和下一视 频帧的视觉关注点。 上述的方法、 装置和计算机 设备具有更好的可解释性和更高的准确度。 权利要求书2页 说明书10页 附图5页 CN 115272703 A 2022.11.01 CN 115272703 A 1.一种基于强化学习的视频分类方法， 其特 征在于， 用于 视频分类， 包括： 获取待分类视频的当前视频帧和视觉关注点， 其中， 所述视觉关注点基于上一视频帧 获得； 将所述当前视频帧和所述上一视频帧的分类得分输入归因模型， 生成特征图和第 一注 意力图， 其中， 所述归因模型的损失函数包括 面积损失子函数； 根据所述当前视频帧和所述视 觉关注点 生成视觉关注图； 将所述视 觉关注图输入视 觉显著性模型生成第二注意力图； 将所述第二注意力图与所述第一注意力图融合， 生成第三注意力图； 根据所述第三注意力图和所述特 征图生成特 征向量； 根据所述特 征向量获取当前视频帧的分类得分和下一视频帧的视 觉关注点。 2.根据权利要求1所述的基于强化学习的视频分类方法， 其特征在于， 所述将所述第 二 注意力图与所述第一注意力图融合， 生成第三注意力图， 包括： 设定权重值ρ； 将所述ρ 设为所述第二注意力图的权 重， (1‑ρ )设为所述第一注意力图的权 重； 根据所述ρ 、 (1 ‑ρ )、 所述第二注意力图和所述第一注意力图生成所述第三注意力图。 3.根据权利要求1所述的基于强化学习的视频分类方法， 其特征在于， 所述将所述当前 视频帧和所述上一视频帧的分类得分输入 归因模型， 生成特 征图和第一注意力图， 包括： 将所述当前视频帧输入卷积神经网络， 生成特 征图。 4.根据权利要求3所述的基于强化学习的视频分类方法， 其特征在于， 所述将所述当前 视频帧和所述上一视频帧的分类得分输入 归因模型， 生成特 征图和第一注意力图， 还 包括： 通过第一卷积层将所述特 征图的通道数变为C， 获得第一子特 征图； 通过第二卷积层将所述特 征图的通道数变为1， 获得第二子特 征图； 根据所述第一子特 征图获得第一条件概 率分布； 根据所述第二子特 征图获得第二条件概 率分布； 将所述第一条件概 率分布和所述第二条件概 率分布结合， 获得 联合分布概 率； 将所述上一视频帧的分类得分代入所述联合分布概 率， 生成所述第一注意力图。 5.根据权利要求1所述的基于强化学习的视频分类方法， 其特征在于， 所述根据 所述第 三注意力图和所述特 征图生成特 征向量， 包括： 将所述特 征图与所述第三注意力图聚合， 生成聚合图； 将所述聚合图和所述特 征图合并， 生成所述特 征向量。 6.根据权利要求1所述的基于强化学习的视频分类方法， 其特征在于， 所述归因模型基 于最大期望算法进行训练。 7.根据权利要求6所述的基于强化学习的视频分类方法， 其特 征在于， 还 包括： 将所述上一视频帧和所述上一视频帧的分类得分输入所述归因模型， 用于对所述归因 模型进行训练。 8.一种视频分类装置， 其特 征在于， 包括： 获取模块， 用于获取待分类视频的当前视频帧和视觉关注点， 其中， 所述视觉关注点基 于上一视频帧获得； 特征图和第 一注意力图生成模块， 用于将所述当前视频帧和所述上一视频帧的分类得权　利　要　求　书 1/2 页 2 CN 115272703 A 2分输入归因模型， 生成特征图和 第一注意力图， 其中， 所述归因模型的损失函数包括面积损 失子函数； 视觉关注图生成模块， 用于根据所述当前视频帧和所述视 觉关注点 生成视觉关注图； 第二注意力图生成模块， 用于将所述视觉关注图输入视觉显著性模型生成第 二注意力 图； 第三注意力图生成模块， 用于将所述第二注意力图与所述第一注意力图融合， 生成第 三注意力图； 特征向量生成模块， 根据所述第三注意力图和所述特 征图生成特 征向量； 分类得分和视觉关注点获取模块， 用于根据 所述特征向量获取当前视频帧的分类得分 和下一视频帧的视 觉关注点。 9.一种计算机设备， 包括存储器和处理器， 所述存储器中存储有计算机程序， 其特征 是， 所述处理器执行所述计算机程序时实现权利要求 1至7中任一项 所述的基于强化学习的 视频分类方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征是， 所述计算机程序被 处理器执行时实现权利要求1至7中任一项所述的基于强化学习的视频分类方法的步骤。权　利　要　求　书 2/2 页 3 CN 115272703 A 3