(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210746923.6 (22)申请日 2022.06.28 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518044 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 李婧婧　杨田雨　王珏　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 朱佳 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种视频分析方法、 装置、 电子设备及存储 介质 (57)摘要 本申请涉及视频分析技术领域， 尤其涉及一 种视频分析方法、 装置、 电子设备及存储介质， 用 以提高视频分析的准确性。 该方法包括： 基于已 训练的目标视频分析模型， 获得各视频片段各自 包含各设定事件的初始概率， 基于各初始概率以 及预设的概率阈值， 获得待分析的视频中包含的 目标事件的定位信息， 基于该定位信息， 对待分 析的视频中包含的目标事件进行分析； 其中， 目 标视频分析模型是基于第一训练损失和第二训 练损失对应的目标训练损失， 对待训练的视频分 析模型进行参数调整后得到的， 第一训练损失是 基于样本视频的每个样本视频片段包含各样本 事件的样 本初始概率获得的， 第二训练损失是基 于各样本参考概率获得的， 从而可以提高视频分 析的准确性。 权利要求书3页 说明书35页 附图13页 CN 115115985 A 2022.09.27 CN 115115985 A 1.一种视频分析 方法， 其特 征在于， 所述方法包括： 基于已训练的目标视频分析模型， 获得待分析的视频包含的各视频片段各自的初始特 征， 基于各初始特 征， 获得所述各视频片段 各自包含各设定事 件的初始概 率； 基于各初始概率以及预设的概率阈值， 获得所述待分析的视频中包含的目标事件的定 位信息， 基于所述定位信息， 对所述待分析的视频中包 含的目标事 件进行分析； 其中， 所述目标视频分析模型是基于第 一训练损失和第 二训练损失对应的目标训练损 失， 对待训练的视频分析模型进行参数调整后得到的， 所述第一训练损失是基于样本视频 的每个样本视频片段包含各样本事件的样本初始 概率获得的， 所述第二训练损失是基于各 样本初始概率， 确定所述每个样本视频片段包含所述各样本事件的样本参考概率， 并基于 各样本参 考概率获得的。 2.根据权利要求1所述的方法， 其特征在于， 在训练过程中， 所述第一训练损 失是采用 以下方式获得的： 基于待训练的视频分析模型， 获得所述每个样本视频片段各自的样本初始特征， 及各 自包含各样本事 件的样本初始概 率； 基于各样本初始概率和所述样本视频包含各样本事件的标签样本概率， 获得所述第 一 训练损失； 在训练过程中， 所述第二训练损失是采用以下 方式获得的： 基于所述每个样本视频片段包含各样本事件的样本初始概率及相应的概率阈值， 确定 所述每个样本视频片段包 含所述各样本事 件的样本参 考概率； 基于所述每个样本视频片段的样本初始特征及相应的样本参考概率， 确定所述每个样 本视频片段的样本基准特 征； 基于所述每个样本视频片段的样本基准特征及预设的样本特征集， 确定第二训练损 失， 所述样本特 征集中包 含相应的正负 样本特征。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述每个样本视频片段的样本基 准特征及预设的样本特 征集， 确定第二训练损失， 包括： 基于各样本视频片段， 组成各样本子视频， 其中， 每个样本子视频中包含所述各样本视 频片段中的部分样本 视频片段或全部样本 视频片段； 基于所述各样本子视频中包含的样本视频片段的样本基准特征， 分别确定各样本子视 频各自的样本综合特 征； 基于所述各样本子视频各自的样本综合特征及预设的样本特征集， 确定第二训练损 失。 4.根据权利要求2或3所述的方法， 其特征在于， 所述基于所述每个样本视频片段的样 本初始特 征及相应的样本参 考概率， 确定所述每 个样本视频片段的样本基准特 征， 包括： 基于所述每个样本视频片段的样本初始特征及相应的样本参考概率， 分别确定所述每 个样本视频片段的第一事 件子特征以及第一背景子特 征； 将所述每个样本视频片段的第 一事件子特征以及第 一背景子特征， 作为所述每个样本 视频片段的样本基准特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述各样本子视频中包含的样本 视频片段的样本基准特 征， 分别确定各样本 子视频各自的样本综合特 征， 包括：权　利　要　求　书 1/3 页 2 CN 115115985 A 2基于所述各样本子视频中包含的样本视频片段的所述第 一事件子特征， 确定各样本子 视频各自的第二事 件子特征； 以及， 基于所述各样本子视频中包含的样本视频片段的所述第 一背景子特征， 确定各样本子 视频各自的第二背景子特 征； 将所述各样本子视频各自的第 二事件子特征以及第 二背景子特征， 作为所述各样本子 视频各自的样本综合特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述各样本子视频各自的样本综 合特征及预设的样本特 征集， 确定第二训练损失， 包括： 基于所述样本视频对应的样本标签， 确定所述各样本子视频各自的第 二事件子特征的 事件类别； 基于所述事件类别以及所述样本特征集中各样本特征的类别， 确定各第 二事件子特征 相应的正样本特 征及负样本特征； 基于所述各第 二事件子特征与相应的正样本特征之间的第 一距离， 以及所述各第 二事 件子特征与相应的负 样本特征之间的第二距离， 确定第二训练损失。 7.根据权利要求2所述的方法， 其特征在于， 所述基于所述每个样本视频片段包含各样 本事件的样本初始 概率及相应的概率阈值， 确定所述每个样本视频片段包含所述各样本事 件的样本参 考概率， 包括： 针对各样本 视频片段 各自包含各样本事 件的样本初始概 率分别执 行以下步骤： 确定各样本 视频片段 各自包含一个样本事 件的样本初始概 率相应的概 率阈值； 针对每个样本视频片段分别执行以下操作： 当一个样本视频片段包含所述一个样本事 件的样本初始概率不小于所述概率阈值， 则将所述一个样本视频片段包含 所述一个样本事 件的样本参考概率配置为第一预设数值； 否则， 则将所述一个样本视频片段包含所述一个 样本事件的样本参 考概率配置为第二预设数值。 8.根据权利要求7所述的方法， 其特征在于， 所述确定各样本视频片段各自包含一个样 本事件的样本初始概 率相应的概 率阈值， 包括： 根据所述各样本视频片段各自包含所述一个样本事件的样本初始概率的数值， 确定各 样本视频片段 各自包含所述一个样本事 件的样本初始概 率相应的概 率阈值； 或者， 根据预设的各样本事件与概率阈值的对应关系， 确定各样本视频片段各自包含所述一 个样本事 件的样本初始概 率相应的概 率阈值。 9.根据权利 要求1‑3、 5‑8任一项所述的方法， 其特征在于， 基于第一训练损失和第二训 练损失对应的目标训练损失， 对待训练的视频分析模型进行参数调整， 包括： 基于所述第一训练损 失、 所述第二训练损 失和相应的权重系数， 确定对应的目标训练 损失， 其中， 所述第一训练损失的权重系数与所述第二训练损失的权重系数的比值为： 与当 前迭代总轮数 呈负相关的比值； 根据所述目标训练损失， 对所述待训练的视频分析模型进行模型参数调整。 10.根据权利要求2 ‑3、 5‑8任一项所述的方法， 其特征在于， 所述基于所述每个视频片 段的样本初始特 征及相应的样本参 考概率， 确定所述每 个视频片段的样本基准特 征， 包括： 将所述每个样本视频片段的样本初始特征分别进行降维处理， 得到所述每个视频片段 的样本初始特征相应的样本低维特征， 其中， 各样本初始特征各自的特征维度为D个， 各样权　利　要　求　书 2/3 页 3 CN 115115985 A 3