(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210478030.8 (22)申请日 2022.05.05 (65)同一申请的已公布的文献号 申请公布号 CN 114579869 A (43)申请公布日 2022.06.03 (73)专利权人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 刘子璐　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 彭程 (51)Int.Cl. G06F 16/9535(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) (56)对比文件 CN 111859220 A,2020.10.3 0CN 113590850 A,2021.1 1.02 CN 113516522 A,2021.10.19 CN 113919446 A,202 2.01.11 CN 112989179 A,2021.0 6.18 CN 113742567 A,2021.12.0 3 CN 113342933 A,2021.09.0 3 CN 114328800 A,2022.04.12 Konstantinos Tsiakas.etc. “An intelligent Interactive Learn ing and Adaptati on framew ork for robot-based vocational trai ning”. 《2016 IE EE Symposium Series o n Computati onal Intelligence (SSCI)》 .2017, 孙迪克.“基于多任务学习的流 程推荐技 术 研究与实现 ”. 《中国优秀硕士学位 论文全文数据 库 信息科技 辑》 .2022,I138-3578. 冯凯.“基于深度特 征的视频内容检索研 究”. 《中国优秀硕士学位 论文全文数据库 信息 科技辑》 .2021,I138-282. 审查员 葛运滨 (54)发明名称 模型训练方法以及相关产品 (57)摘要 本申请实施例公开了一种模型训练方法以 及相关产品。 模型训练方法包括： 获取对象的对 象信息和多媒体数据的属性信息； 采用双塔特征 提取模型对对象的对象信息进行特征提取处理， 得到对象的底层语义特征和高层语义特征； 并采 用双塔特征提取模型对多媒体数据的属性信息 进行特征提取处理， 得到多媒体数据的底层语义 特征和高层语义特征； 采用交互增强模型对目标 底层语义特征进行增强处理， 得到目标增强特 征； 基于对象的高层语义特征与多媒体数据的高 层语义特征之间的相似差异性， 以及目标高层语 义特征和目标增强特征之间的相似差异性， 对交 互增强模型及双塔特征提取模型进行同步训练。 采用本申请， 可以提升特征提取模 型提取特征的准确性。 权利要求书4页 说明书26页 附图17页 CN 114579869 B 2022.07.22 CN 114579869 B 1.一种模型训练方法， 其特 征在于， 所述方法包括： 获取对象的对象信息和多媒体数据的属性信息； 采用双塔特征提取模型对所述对象的对象信 息进行特征提取处理， 得到所述对象的底 层语义特征和高层语义特征； 并采用双塔特征提取模型对所述多媒体数据的属性信息进 行 特征提取处 理， 得到多媒体数据的底层语义特 征和高层语义特 征； 采用交互增强模型对目标底层语义特征进行增强处理， 得到目标增强特征； 所述目标 底层语义特征包括所述对 象的底层语义特征和所述多媒体数据的底层语义特征中的一种 或多种； 基于对象的高层语义特征与多媒体数据的高层语义特征之间的相似差异性， 以及目标 高层语义特征和所述目标增强特征之 间的相似差异 性， 对所述交互增强模型及所述双塔特 征提取模型进行同步训练， 训练好的双塔特征提取模型用于多媒体数据推荐， 所述 目标高 层语义特征包括所述对 象的高层语义特征和所述多媒体数据的高层语义特征中的一种或 多种， 且所述目标高层语义特 征和所述目标增强特 征之间具 备可交互关系。 2.根据权利要求1所述的方法， 其特征在于， 所述双塔特征提取模型包括对象特征提取 模型和多媒体特 征提取模型； 所述采用双塔特征提取模型对所述对象的对象信 息进行特征提取处理， 得到所述对象 的底层语义特征和高层语义特征， 包括： 采用所述对 象特征提取模型对所述对 象的对象信 息进行特征提取处 理， 得到所述对象的底层语义特 征和高层语义特 征； 所述采用双塔特征提取模型对所述多媒体数据的属性信 息进行特征提取处理， 得到多 媒体数据的底层语义特征和高层语义特征， 包括： 采用所述多媒体特征提取模型对所述多 媒体数据的属性信息进行特征提取 处理， 得到所述多媒体数据的底层语义特征和高层语义 特征。 3.根据权利要求1所述的方法， 其特征在于， 当所述目标底层语义特征包括所述多媒体 数据的底层语义特征时， 所述 目标增强特征包括所述多媒体数据的增强特征， 所述交互增 强模型包括多媒体增强模型， 所述采用交互增强模型对目标底层语义特征进行增强处理， 得到目标增强特征， 包括： 采用所述多媒体增强模型对所述多媒体数据的底层语义特征进 行增强处 理， 得到所述多媒体数据的增强特 征。 4.根据权利要求3所述的方法， 其特征在于， 所述方法还包括： 从所述多媒体数据的底 层语义特征中筛选出强个性化多媒体特征和弱个性化多媒体特征， 将所述强个性化多媒体 特征和所述弱个性 化多媒体特 征拼接为个性 化多媒体特 征； 所述采用所述多媒体增强模型对所述多媒体数据的底层语义特征进行增强处理， 得到 所述多媒体数据的增强特 征， 包括： 采用所述多媒体增强模型对所述个性化多媒体特征进行增强处理， 得到所述多媒体数 据的增强特 征。 5.根据权利要求3所述的方法， 其特征在于， 所述目标高层语义特征包括所述对象的高 层语义特征， 所述基于对象的高层语义特征与多媒体数据的高层语义特征之间的相似差异 性， 以及目标高层语义特征和所述 目标增强特征之间的相似差异性， 对所述交互增强模型 及所述双塔特 征提取模型进行同步训练， 包括： 基于对象的高层语义特征与多媒体数据的高层语义特征之间的相似差异性， 确定相似权　利　要　求　书 1/4 页 2 CN 114579869 B 2损失； 基于对象的高层语义特征与多媒体数据的增强特征之间的差异性， 确定多媒体交互增 强损失； 将所述相似损失和所述多媒体交互增强损失叠加为目标损失， 根据所述目标损失同步 训练所述双塔特 征提取模型和所述交 互增强模型。 6.根据权利要求5所述的方法， 其特征在于， 所述双塔特征提取模型包括对象特征提取 模型， 所述对象的高层语义特征是所述对象特征提取模型中的对象语义层 对所述对象的底 层语义特征进 行特征提取 处理后的特征， 在基于目标损失同步训练所述双塔特征提取模型 和所述交互增强模型过程中， 所述多媒体交互增强损失不参与对所述对象特征提取模型中 的对象语义层的训练。 7.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 若所述对象和所述多媒体数据之间具有关联关系， 则执行基于对象的高层语义特征与 多媒体数据的增强特 征之间的差异性， 确定多媒体交 互增强损失的步骤； 若所述对象和所述多媒体数据之间不具有关联关系， 则将所述多媒体交互增强损失设 置为预设参数。 8.根据权利要求5所述的方法， 其特征在于， 所述对象的高层语义特征包括针对第 一任 务的第一高层语义特征和针对第二任务的第二高层语义特征， 所述多媒体数据的增强特征 包括针对所述第一任务的第一增强特征和针对所述第二任务的第二增强特征， 所述基于对 象的高层语义特征与多媒体数据的增强特征之间的差异性， 确定多媒体交互增强损失， 包 括： 基于所述第一高层语义特 征和所述第一增强特 征确定第一多媒体交 互增强损失； 基于所述第二高层语义特 征和所述第二增强特 征确定第二多媒体交 互增强损失； 将所述第一多媒体交互增强损失和所述第二多媒体交互增强损失叠加为所述多媒体 交互增强损失。 9.根据权利要求1所述的方法， 其特征在于， 当所述目标底层语义特征包括所述对象的 底层语义特征时， 所述 目标增强特征包括所述对 象的增强特征， 所述交互增强模型包括对 象增强模型， 所述采用交互增强模型对目标底层语义特征进行增强处理， 得到目标增强特 征， 包括： 采用所述对象增强模型对所述对象的底层语义特征进 行增强处理， 得到所述对象 的增强特 征。 10.根据权利要求9所述的方法， 其特征在于， 所述方法还包括： 从所述对象的底层语义 特征中筛选出强个性化对象特征和弱个性化对象特征， 将所述强个性化对象特征和所述弱 个性化对象特 征拼接为个性 化对象特 征； 所述采用所述对象增强模型对所述对象的底层语义特征进行增强处理， 得到所述对象 的增强特征， 包括： 采用所述对象增强模型对所述个性化对象特征进 行增强处理， 得到所述 对象的增强特 征。 11.根据权利要求9所述的方法， 其特征在于， 所述目标高层语义特征包括所述多媒体 数据的高层语义特征， 所述基于对象的高层语义特征与多媒体数据的高层语义特征之 间的 相似差异性， 以及目标高层语义特征和所述 目标增强特