(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210712928.7 (22)申请日 2022.06.22 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 江毅　严彬　孙培泽　袁泽寰　 卢靓妮　 (74)专利代理 机构 北京信远 达知识产权代理有 限公司 1 1304 专利代理师 贾小慧 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种视频检测方法、 装置、 存 储介质及设备 (57)摘要 本申请公开了一种视频检测方法、 装置、 存 储介质及设备， 该方法包括： 首先获取待检测的 目标视频， 并从中截取参考帧图像和目标帧图 像， 然后利用骨干网络对参考帧图像和目标帧图 像分别进行分类特征提取， 得到二者对应的层次 化特征； 接着对层次化特征进行交互处理， 得到 交互特征矩阵， 再通过对参考帧图像进行处理， 得到参考先验张量， 并将其和交互特征矩阵进行 融合处理， 得到目标先验张量； 进而将目标先验 张量与层次化特征进行融合处理， 并根据处理结 果对目标视频中的目标对象进行检测。 由于本申 请能够同时实现目标视频中单目标跟踪、 多目标 跟踪、 视频目标分割、 多目标跟踪与分割四种不 同类型所对应的目标对象 的检测， 从而提高了视 频检测效果。 权利要求书2页 说明书9页 附图2页 CN 115187895 A 2022.10.14 CN 115187895 A 1.一种视频检测方法， 其特 征在于， 所述方法包括： 获取待检测的目标视频， 并从所述目标视频中截取参 考帧图像和目标帧图像； 利用骨干网络对所述参考帧图像和目标帧图像分别进行分类特征提取， 得到所述参考 帧图像和目标帧图像各自对应的层次化特 征； 对所述参考帧图像和目标帧图像各自对应的层次化特征进行交互处理， 得到交互特征 矩阵； 通过对所述参考帧图像进行处理， 得到参考先验张量； 并将所述参考先验张量和所述 交互特征矩阵进行融合处 理， 得到目标 先验张量； 将所述目标先验张量与所述参考帧图像和目标帧图像各自对应的层次化特征进行融 合处理， 并根据得到的处 理结果， 对目标视频中的目标对象进行检测， 得到检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述利用骨干网络对所述参考帧图像和目 标帧图像分别进 行分类特征提取， 得到所述参考帧图像和目标帧图像各自对应的层次化特 征， 包括： 利用权重共享的骨干网络对所述参考帧图像和目标帧图像分别进行分类特征提取， 得 到所述参考帧图像和目标帧图像各自对应的层次化特 征。 3.根据权利要求1或2所述的方法， 其特征在于， 所述层次化特征为特征金字塔网络FPN 特征。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述参考帧图像和目标帧图像各自 对应的层次化特 征进行交 互处理， 得到交 互特征矩阵， 包括： 利用修改后的神经网络Transformer模型， 对所述参考帧图像和目标帧图像各自对应 的层次化特 征进行交 互处理， 得到交 互特征矩阵； 其中， 修改后的Transformer模型是将Transformer模型结构中的全注意力层替换为可 变形注意力层后得到的。 5.根据权利要求1所述的方法， 其特征在于， 所述通过对所述参考帧图像进行处理， 得 到参考先验张量， 包括： 通过对所述 参考帧图像进行二 值化处理， 得到参 考先验张量。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述参考先验 张量和所述交互特征 矩阵进行融合处 理， 得到目标 先验张量， 包括： 将所述参考先验张量和所述交 互特征矩阵进行相乘处 理， 得到目标 先验张量。 7.根据权利要求1所述的方法， 其特征在于， 所述将所述目标先验 张量与所述参考帧图 像和目标帧图像各自对应的层次化特征进行融合处理， 并根据得到的处理结果， 对目标视 频中的目标对象进行检测， 得到检测结果， 包括： 通过广播形式的相加， 将所述目标先验 张量和所述参考帧图像和目标帧图像各自对应 的层次化特征进行融合处理， 并根据得到的处理结果， 对目标视频中的目标对象进 行检测， 得到检测结果。 8.一种视频检测装置， 其特 征在于， 所述装置包括： 获取单元， 用于获取待检测的目标视频， 并从所述目标视频中截取参考帧图像和目标 帧图像； 提取单元， 用于利用骨干网络对所述参考帧图像和目标帧图像分别进行分类特征提权　利　要　求　书 1/2 页 2 CN 115187895 A 2取， 得到所述 参考帧图像和目标帧图像各自对应的层次化特 征； 交互单元， 用于对所述参考帧图像和目标帧图像各自对应的层次化特征进行交互处 理， 得到交 互特征矩阵； 融合单元， 用于通过对所述参考帧图像进行处理， 得到参考先验张量； 并将所述参考先 验张量和所述交 互特征矩阵进行融合处 理， 得到目标 先验张量； 检测单元， 用于将所述目标先验 张量与所述参考帧图像和目标帧图像各自对应的层次 化特征进 行融合处理， 并根据得到的处理结果， 对目标视频中的目标对象进行检测， 得到检 测结果。 9.一种视频检测设备， 其特 征在于， 包括： 处 理器、 存储器、 系统总线； 所述处理器以及所述存 储器通过 所述系统总线相连； 所述存储器用于存储一个或多个程序， 所述一个或多个程序包括指令， 所述指令当被 所述处理器执行时使所述处 理器执行权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有指令， 当所述指令在终端设备 上运行时， 使得 所述终端设备 执行权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115187895 A 3