(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210778969.6 (22)申请日 2022.06.30 (71)申请人 海信集团控股 股份有限公司 地址 266555 山东省青岛市经济技 术开发 区前湾港路218号 (72)发明人 高雪松　王博　林玥　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 王春波 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 一种视频分类方法以及装置 (57)摘要 本申请涉及视频处理技术领域， 公开了一种 视频分类方法以及装置， 该方法包括： 将待处理 视频通过不同卷积核的卷积进行特征提取， 得到 各卷积核对应的特征向量序列以及目标特征向 量， 并基于卷积核的大小对所述目标特征向量进 行排序； 针对任一目标特征向量， 基于与所述目 标特征向量相邻的目标特征向量， 对 所述目标特 征向量进行更新； 对所述待处理视频的所有特征 向量序列以及更新后的目标特征向量进行特征 融合， 得到表征所述待处理视频类别的分类向 量。 由于更新后的目标特征向量体 现出不同目标 特征向量之间的关联关系， 包含全局视图信息； 进而对上述特征向量序列以及更新后的目标特 征向量进行特征融合， 得到能够精 准表征待处理 视频类别的分类向量。 权利要求书2页 说明书12页 附图12页 CN 115223079 A 2022.10.21 CN 115223079 A 1.一种视频分类方法， 其特 征在于， 所述方法包括： 将待处理视频通过不同卷积核的卷积进行特征提取， 得到各卷积核对应的特征向量序 列以及目标 特征向量， 并基于卷积核的大小对所述目标 特征向量进行排序； 针对任一目标特征向量， 基于与所述目标特征向量相邻的目标特征向量， 对所述目标 特征向量进行 更新； 对所述待处理视频的所有特征向量序列以及更新后的目标特征向量进行特征融合， 得 到表征所述待处 理视频类别的分类向量。 2.根据权利要求1所述的方法， 其特征在于， 针对任一目标特征向量， 基于与所述目标 特征向量相邻的目标 特征向量， 对所述目标 特征向量进行 更新， 包括： 将所述待处理视频的所有目标特征向量输入更新模型， 通过所述更新模型基于与任一 目标特征向量相邻的目标 特征向量， 对所述目标 特征向量进行 更新。 3.根据权利要求2所述的方法， 其特征在于， 通过所述更新模型基于与任一目标特征向 量相邻的目标 特征向量， 对所述目标 特征向量进行 更新， 包括： 通过所述更新模型对第k层级的第一特征向量以及第k层级的第二特征向量进行平均 池化操作， 得到第k层级的平均 向量； 其中， 1≤k≤K， K为所述更新模型迭代更新的层级总 数； 第1层级的第一特征向量为任一所述 目标特征向量， 第1层级的第二特征向量为与所述 目标特征向量相邻的目标 特征向量； 对所述第k层级的平均向量进行全连接层计算， 得到第k层级的调整向量； 将所述第k层级 的调整向量与所述第k层级的第一特征向量之和， 确定为第k+1层级的 第一特征向量； 其中， 第K层级的第一特 征向量为所述更新后的目标 特征向量。 4.根据权利要求3所述的方法， 其特征在于， 对所述第k层级的平均向量进行全连接层 计算， 得到第k层级的调整向量， 包括： 对所述第k层级的平均向量进行第一全连接层计算， 得到第k层级的第一向量； 以及对 所述第k层 级的平均向量进 行第二全连接层计算， 得到第k层级的第二向量， 并对 所述第k层 级的第二向量进行归一 化计算， 得到第k层级的权 重信息； 基于所述第k层级的第一向量以及所述第k层级的权重信息， 得到所述第k层级的调整 向量。 5.根据权利要求1所述的方法， 其特征在于， 对所述待处理视频的所有特征向量序列以 及更新后的目标 特征向量进行 特征融合， 得到表征 所述待处 理视频类别的分类向量， 包括： 将所述待处理视频的所有特征向量序列以及更新后的目标特征向量进行拼接， 得到初 始特征矩阵； 将所述初始特征矩阵输入融合模型， 通过所述融合模型对所述初始特征矩阵进行特征 融合， 得到表征 所述待处 理视频类别的分类向量。 6.根据权利要求5所述的方法， 其特征在于， 通过所述融合模型对所述初始特征矩阵进 行特征融合， 包括： 通过所述融合模型基于第m层级的邻接矩阵、 第m层级的特征矩阵以及第m层级的调整 参数， 确定第m层 级的更新矩阵； 其中， 1≤m≤M， M为所述融合模型迭代融合的层 级总数； 若2 ≤m≤M， 第m层 级的邻接矩阵是基于第m ‑1层级的更新矩阵与第m ‑1层级的邻接矩阵确定的， 第1层级的邻接矩阵为预设矩阵， 第1层级的特 征矩阵为所述初始特 征矩阵；权　利　要　求　书 1/2 页 2 CN 115223079 A 2将第m层级的更新矩阵的逆矩阵与第m层级的特征矩阵的乘积确定为第m+1层级的特征 矩阵； 其中， 第M层级的特 征矩阵为所述分类向量。 7.根据权利要求1所述的方法， 其特征在于， 将待处理视频通过不同卷积核的卷积进行 特征提取， 得到各 卷积核对应的特 征向量序列以及目标 特征向量， 包括： 针对任一卷积核， 将所述待处理视频通所述卷积核的卷积进行特征提取， 得到所述卷 积核对应的多个多维矩阵； 将所述多个多维矩阵分别进行线性 转化， 得到所述特 征向量序列； 将所述特征向量序列以及预设 向量输入编码器， 得到所述编码器输出的所述卷积核对 应的目标 特征向量。 8.根据权利要求1～7任一所述的方法， 其特征在于， 在得到表征所述待处理视频类别 的分类向量之后， 还 包括： 基于预设对应关系， 确定所述待处理视频的分类向量对应的视频类别； 其中， 所述预设 对应关系包括视频的分类向量与视频类别之间的对应关系。 9.一种视频分类装置， 其特 征在于， 该装置包括： 特征提取模块， 用于将待处理视频通过不同卷积核的卷积进行特征提取， 得到各卷积 核对应的特征向量序列以及目标特征向量， 并基于卷积核的大小对所述目标特征向量进 行 排序； 更新模块， 用于针对任一目标特征向量， 基于与所述目标特征向量相邻的目标特征向 量， 对所述目标 特征向量进行 更新； 融合模块， 用于对所述待处理视频的所有特征向量序列以及更新后的目标特征向量进 行特征融合， 得到表征 所述待处 理视频类别的分类向量。 10.根据权利要求9所述的装置， 其特 征在于， 所述更新模块具体用于： 将所述待处理视频的所有目标特征向量输入更新模型， 通过所述更新模型基于与任一 目标特征向量相邻的目标 特征向量， 对所述目标 特征向量进行 更新。权　利　要　求　书 2/2 页 3 CN 115223079 A 3