(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210674399.6 (22)申请日 2022.06.15 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 王赟豪　刘浩　余亭浩　侯昊迪　 陈少华　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 张思佳 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) (54)发明名称 视频中组成元素的识别、 替换方法以及视频 推荐方法 (57)摘要 本申请涉及一种视频中组成元素的识别方 法、 装置、 计算机设备、 存储介质和计算机程序产 品。 方法包括： 获取目标视频的至少一部分视频 帧所构成的视频帧序列， 视频帧序列中的各视频 帧按在目标视频中的时序排列； 提取视频帧序列 中每一视频帧的组成元素特征； 分别提取视频帧 序列的短时序特征和长时序特征； 短时序特征在 视频帧序列中匹配到的视频帧的时间跨度小于 长时序特征在视频帧序列中匹配到的视频帧的 时间跨度； 基于融合组成元素特征、 短时序特征 以及长时序特征所得到的特征融合结果， 识别目 标视频中的组成元素。 采用本方法能够提高目标 视频中组成元素识别结果的准确性， 本申请实施 例可应用于云技术、 人工智能、 智慧交通、 辅助驾 驶等各种场景。 权利要求书3页 说明书23页 附图15页 CN 115115979 A 2022.09.27 CN 115115979 A 1.一种视频中组成元 素的识别方法， 其特 征在于， 所述方法包括： 获取目标视频的至少一部分视频帧所构 成的视频帧序列， 所述视频帧序列中的各视频 帧按在所述目标视频中的时序排列； 提取所述视频帧序列中每一视频帧的组成元 素特征； 分别提取所述视频帧序列的短时序 特征和长时序 特征； 所述短时序特征在所述视频帧 序列中匹配到的视频帧的时间跨度小于所述长时序特征在所述视频帧序列中匹配到的视 频帧的时间跨度； 基于融合所述组成元素特征、 所述短时序 特征以及所述长时序 特征所得到的特征融合 结果， 识别所述目标视频中的组成元 素。 2.根据权利要求1所述的方法， 其特征在于， 提取所述视频帧序列所包含的短时序特 征， 包括： 获取所述视频帧序列中每一组相邻视频帧的图像差异数据； 基于所述图像差异数据， 对所述相邻视频帧进行元素特征提取， 得到每一组相邻视频 帧的元素特征所构成的短时序特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述获取所述视频帧序列中每一组相邻 视 频帧的图像差异数据， 包括： 针对所述视频帧序列中每一组相邻视频帧， 将所述相邻视频帧中的两个视频帧， 按像 素单元进行对比， 得到帧间像素差异； 基于所述帧间像素差异， 确定所述相邻视频帧的图像差异数据。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述相邻视频帧中的两个视频帧， 按像素单元进行对比， 得到帧间像素差异， 包括： 基于相同的采样参数， 对所述相邻视频帧中的两个视频帧分别进行局部 图像采样， 得 到两个所述视频帧各自包 含的采集图像； 将所述两个视频帧中相同位置的采样图像， 按像素 单元进行对比， 得到帧间像素差异。 5.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 对所述相邻视频帧进行静态类元 素和动态类元 素的识别， 得到元 素类别信息； 所述基于所述图像差异数据， 对所述相邻视频帧进行元素特征提取， 得到每一组相邻 视频帧的元 素特征所构成的短时序特 征， 包括： 基于所述相邻 视频帧的图像差异数据和所述相邻 视频帧的元素类别信 息， 对所述相邻 视频帧进行 元素特征提取， 得到每一组相邻视频帧的元 素特征所构成的短时序特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述相邻 视频帧的图像差异数据 和所述相邻视频帧的元素类别信息， 对所述相邻视频帧进行元素特征提取， 得到每一组相 邻视频帧的元 素特征所构成的短时序特 征， 包括： 获取对所述相邻视频帧的图像差异数据进行 元素类别匹配所 得到的目标 元素类别； 在所述目标元素类别与所述元素类别信 息匹配成功的情况下， 对所述相邻 视频帧进行 元素特征提取， 得到每一组相邻视频帧的元 素特征所构成的短时序特 征。 7.根据权利要求5所述的方法， 其特征在于， 所述对所述相邻 视频帧进行静态类元素和 动态类元 素的识别， 得到元 素类别信息， 包括： 针对所述相邻视频帧中任一视频帧， 按照所述视频帧的区域划分， 提取所述视频帧中权　利　要　求　书 1/3 页 2 CN 115115979 A 2每一区域的区域图像； 对每一所述区域图像进行图像梯度计算， 得到每一所述区域图像的清晰度评价数据； 基于各所述区域图像的清晰度评价数据的差异， 按照静态类元素与动态类元素间的清 晰度差异特性， 确定元 素类别信息。 8.根据权利要求5所述的方法， 其特征在于， 所述对所述相邻 视频帧进行静态类元素和 动态类元 素的识别， 得到元 素类别信息， 包括： 对所述视频帧分别进行网格划分， 得到所述视频帧所包 含的多个网格图像； 按照所述视频帧的区域划分， 将同一区域中的网格图像分为 一组； 计算同组网格图像之间的第 一清晰度差异、 以及不同组网格图像之间的第 二清晰度差 异； 基于所述第 一清晰度差异和所述第 二清晰度差异， 按照静态类元素与动态类元素间的 清晰度差异特性， 确定所述视频帧的元 素类别信息。 9.根据权利要求5所述的方法， 其特征在于， 所述按照所述视频帧中各区域的图像清晰 度差异， 确定元 素类别信息， 包括： 对所述视频帧进行局部图像采样， 得到所述视频帧所包 含的多个采样图像； 按照所述视频帧的区域划分， 将同一区域中的采样图像分为 一组； 计算同组采样图像之间的第 一清晰度差异、 以及不同组采样图像之间的第 二清晰度差 异； 基于所述第 一清晰度差异和所述第 二清晰度差异， 按照静态类元素与动态类元素间的 清晰度差异特性， 确定所述视频帧的元 素类别信息。 10.根据权利要求1所述的方法， 其特征在于， 所述提取所述视频帧序列所包含的长时 序特征包括： 基于场景转换识别模型， 对所述视频帧序列进行场景转换特征提取， 得到所述视频帧 序列中的场景转换特征； 其中， 所述场景转换特征用于表征所述视频帧序列中的场景边界 帧在所述视频帧序列中的分布； 所述场景转换识别模型， 是基于携带有场景转换标签的转 场视频训练得到的； 对所述场景转换 特征进行特征转换， 得到所述视频帧序列所包 含的长时序特 征。 11.根据权利要求10所述的方法， 其特征在于， 所述对所述场景转换特征进行特征转 换， 得到所述视频帧序列所包 含的长时序特 征， 包括： 对所述视频帧序列的场景转换 特征进行最大池化处 理， 得到池化特 征； 基于具有特征丢弃处理功能的全连接层对所述池化特征进行特征连接， 得到全连接特 征； 将所述全连接特征进行维度压缩和特征模糊变换， 得到所述视频帧序列所包含的长时 序特征。 12.根据权利要求1所述的方法， 其特征在于， 所述提取所述视频帧序列中每一视频帧 的组成元 素特征， 包括： 基于图像深度模型， 对所述视频帧序列中每一视频帧进行深度 特征提取和组成元素预 测， 得到每一所述视频帧的组成元 素特征； 所述图像深度模型， 是基于携带有组成元 素标识的填充图像训练得到的。权　利　要　求　书 2/3 页 3 CN 115115979 A 3