(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221049396 0.0 (22)申请日 2022.04.29 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 汪浩然　何栋梁　李甫　丁二锐　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 16/583(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多模态数据匹配度计算和计算模型训练的 方法、 相关装置 (57)摘要 本公开提供了一种多模态数据匹配度计算 模型的训练、 多模态数据匹配度计算方法、 装置、 电子设备、 计算机可读存储介质及计算机程序产 品， 涉及深度学习、 图像处理和计算机视觉等人 工智能技术领域。 该方法包括： 获取模态不同的 第一样本数据和第二样本数据， 并基于该第一样 本数据和该第二样本数据间的语义特征距离确 定语义困惑度， 然后构建包括语义困惑度参数的 对比学习损失函数后， 利用该对比学习损失函 数， 以对比学习的方式训练初始多模态数据匹配 度计算模型， 得到目标多模态数据匹配度计算模 型， 该实施方式提供的多模态数据匹配度计算模 型， 可更为准确的计算模态不同的数据之间的匹 配度。 权利要求书3页 说明书13页 附图4页 CN 114817612 A 2022.07.29 CN 114817612 A 1.一种多模态数据匹配度计算模型的训练方法， 包括： 获取模态不同的第一样本数据和第二样本数据； 构建包括语义困惑度参数的对比学习损失函数， 所述语义困惑度参数基于所述第 一样 本数据和所述第二样本数据间的语义特 征距离确定； 利用所述对比学习损失函数， 以对比学习的方式训练初始多模态数据匹配度计算模 型， 得到目标多模态数据匹配度计算模型。 2.根据权利要求1所述的方法， 还 包括： 获取多个所述第一样本数据和多个所述第二样本数据； 将各所述第 一样本数据的语义特征存入第 一记忆银行、 将各所述第 二样本数据的语义 特征存入第二记 忆银行； 分别对所述第 一记忆银行和所述第 二记忆银行的编码器进行动量更新， 并从完成动量 更新的第一记忆 银行中提取第一语义特征、 从完成动量更新的第二记忆 银行中提取第二语 义特征； 基于所述第 一语义特征与 所述第二语义特征的语义特征距离， 确定所述语义困惑度参 数。 3.根据权利要求2所述的方法， 其中， 所述将各所述第 一样本数据的语义特征存入第 一 记忆银行、 将各所述第二样本数据的语义特 征存入第二记 忆银行， 包括： 将至少两个所述第 一样本数据以集合的形式存入所述第 一记忆银行、 将至少两个所述 第二样本数据以集 合的形式存 入所述第二记 忆银行。 4.根据权利要求1所述的方法， 其中， 所述构建包括语义困惑度参数的对比学习损失函 数， 包括： 获取对比学习方式 中用以监 督模型训练的初始对比学习损失函数； 利用所述第一样本数据与所述第二样本数据间的语义特征的余弦关系表征所述语义 困惑度参数； 基于所述初始对比学习损失函数与所述语义困惑度参数构建所述对比学习损失函数。 5.根据权利要求2或3所述的方法， 还包括对所述对比学习损失函数中的以下至少一项 施加约束： 所述第一样本数据、 所述第二样本数据、 基于所述第一记忆银行得到的第一样本数据 的语义特 征、 基于所述第二记 忆银行得到的第二样本数据的语义特 征。 6.根据权利要求1所述的方法， 其中， 所述第一样本数据包括样本 图像数据， 所述第二 样本数据包括样本文本数据。 7.一种多模态数据匹配度计算方法， 包括： 获取模态不同的第一数据和第二数据构成的待测数据对； 调用预设的多模态数据匹配度计算模型处理所述待测数据对， 得到所述待测数据对的 语义匹配度； 其中， 所述多模态数据匹配度计算模型基于对比学习损失函数以对比学习的 方式训练得到， 所述对比学习损失函数包含有语义困惑度参数， 所述语义困惑度参数基于 模态不同的第一样本数据和第二样本数据间的语义特 征距离确定 。 8.根据权利要求7所述的方法， 其中， 所述第一数据包括图像数据， 所述第二数据包括 文本数据。权　利　要　求　书 1/3 页 2 CN 114817612 A 29.一种多模态数据匹配度计算模型的训练装置， 包括： 样本数据获取 单元， 被配置成获取模态不同的第一样本数据和第二样本数据； 损失函数构建单元， 被配置成构建包括语义困惑度参数的对比学习损 失函数， 所述语 义困惑度参数基于所述第一样本数据和所述第二样本数据间的语义特 征距离确定； 多模态数据匹配度计算模型的训练单元， 被配置成利用所述对比学习损 失函数， 以对 比学习的方式训练初始多模态数据匹配度计算模型， 得到目标多模态数据匹配度计算模 型。 10.根据权利要求9所述的装置， 还 包括： 样本数据批量获取单元， 被配置成获取多个所述第 一样本数据和多个所述第 二样本数 据； 记忆银行存入单元， 被配置成将各所述第一样本数据的语义特征存入第一记忆银行、 将各所述第二样本数据的语义特 征存入第二记 忆银行； 动量更新单元， 被配置成分别对所述第 一记忆银行和所述第 二记忆银行的编码器进行 动量更新， 并从完成动量更新的第一记忆银行中提取第一语义特征、 从完成动量更新的第 二记忆银行中提取第二语义特 征； 语义特征提取单元， 被配置成基于所述第 一语义特征与 所述第二语义特征的语义特征 距离， 确定所述语义困惑度参数。 11.根据权利要求10所述的装置， 其中， 所述记忆银行存入单元进一步被配置成， 将至 少两个所述第一样本数据以集合的形式存入所述第一记忆银行、 将至少两个所述第二样本 数据以集 合的形式存 入所述第二记 忆银行。 12.根据权利要求9所述的装置， 其中， 所述损失函数构建单 元， 包括： 初始损失函数获取子单元， 被配置成获取对比学习方式中用以监督模型训练 的初始对 比学习损失函数； 语义困惑度表征子单元， 被配置成利用所述第 一样本数据与 所述第二样本数据间的语 义特征的余弦关系表征 所述语义困惑度参数； 对比学习损失函数构建子单元， 被配置成基于所述初始对比学习损失函数与 所述语义 困惑度参数构建所述对比学习损失函数。 13.根据权利要求10或1 1中所述的装置， 还 包括： 约束施加单 元， 被配置成对所述对比学习损失函数中的以下至少一项施加约束： 所述第一样本数据、 所述第二样本数据、 基于所述第一记忆银行得到的第一样本数据 的语义特 征、 基于所述第二记 忆银行得到的第二样本数据的语义特 征。 14.根据权利要求9所述的装置， 其中， 所述第 一样本数据包括样本图像数据， 所述第 二 样本数据包括样本文本数据。 15.一种多模态数据匹配度计算装置， 包括： 待匹配数据获取单元， 被配置成获取模态不同的第 一数据和第 二数据构 成的待测数据 对； 匹配度计算单元， 被配置成调用预设的多模态数据匹配度计算模型处理所述待测数据 对， 得到所述待测数据对的语义匹配度； 其中， 所述多模态数据匹配度计算模型基于对比学 习损失函数以对比学习的方式训练得到， 所述对比学习损失函数包含有语义困惑度参数，权　利　要　求　书 2/3 页 3 CN 114817612 A 3