(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210493497.X (22)申请日 2022.04.27 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 付程晗　范学峰　高菲　李国洪　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 16/532(2019.01) G06F 40/30(2020.01) G06F 16/538(2019.01) G06F 16/55(2019.01) G06K 9/62(2022.01)G06F 7/08(2006.01) G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像检索方法、 装置及计算机程序 产品 (57)摘要 本公开提供了一种图像检索方法、 装置、 电 子设备、 存储介质及计算机程序产品， 涉及人工 智能技术领域， 具体涉及深度学习技术， 可用于 图像检索场景下。 具体实现方案为： 通过预训练 的全局召回模型得到兼顾待检索图像的语义信 息和视觉信息的全局召回特征； 通过预训练的局 部校验模型得到待检索图像的、 用于进行局部特 征点匹配的局部校验特征； 根据全局召回特征和 局部校验特征， 从通用图像库中确定待检索图像 的相似图和/或相同图。 本公开提供了从通用图 像库中确定待检索图像的相似图、 相同图的通用 检索逻辑， 提高了图像 检索的便捷性和效率。 权利要求书4页 说明书17页 附图8页 CN 114880505 A 2022.08.09 CN 114880505 A 1.一种图像 检索方法， 包括： 通过预训练的全局召回模型得到兼顾待检索图像的语义信息和视觉信息的全局召回 特征； 通过预训练的局部校验模型得到所述待检索图像的、 用于进行局部特征点匹配的局部 校验特征； 根据所述全局召回特征和所述局部校验特征， 从通用图像库中确定所述待检索图像的 相似图和/或相同图。 2.根据权利要求1所述的方法， 其中， 所述根据所述全局召回特征和所述局部校验特 征， 从通用图像库中确定所述待检索图像的相似图和/或相同图， 包括： 根据所述全局召回特征， 从所述通用图像库中确定多个召回图像， 并确定所述待检索 图像与所述多个召回图像中的每 个召回图像之间的第一匹配信息； 根据所述局部校验特征， 确定所述待检索图像和所述多个召回图像中的每个召回图像 之间的特 征点的第二匹配信息； 根据所述第 一匹配信 息和所述第 二匹配信 息， 从所述多个召回图像中确定所述待检索 图像的相似图和/或相同图。 3.根据权利要求2所述的方法， 其中， 所述根据所述第一匹配信息和所述第二匹配信 息， 从所述多个召回图像中确定所述待检索图像的相似图和/或相同图， 包括： 结合所述多个召回图像中的每个召回图像对应的第 一匹配信 息和第二匹配信 息， 得到 每个召回图像对应的排序分数； 根据排序分数， 对所述多个召回图像进行排序， 并将排序后的多个召回图像确定为所 述待检索图像的相似图。 4.根据权利要求2所述的方法， 其中， 所述根据所述第一匹配信息和所述第二匹配信 息， 从所述多个召回图像中确定所述待检索图像的相似图和/或相同图， 包括： 根据所述第 一匹配信 息确定所述多个召回图像中， 处于不同匹配 阈值空间中的召回图 像； 对于不同的匹配阈值空间， 根据该区间中的召回图像的第二匹配信息， 确定所述待检 索图像的相同图。 5.根据权利要求2所述的方法， 其中， 所述根据所述全局召回特征， 从所述通用图像库 中确定多个召回图像， 并确定所述待检索图像与所述多个召回图像中的每个召回图像之间 的第一匹配信息， 包括： 根据所述待检索图像的全局召回特征和所述通用图像库中的图像的全局召回特征， 从 所述通用图像库中确定出所述多个召回图像， 并确定所述待检索图像与所述多个召回图像 中的每个召回图像之间的第一匹配信息， 其中， 所述通用图像库中的图像的全局召回特征 通过所述全局召回模型确定 。 6.根据权利要求2所述的方法， 其中， 所述根据所述局部校验特征， 确定所述待检索图 像和所述多个召回图像中的每 个召回图像之间的特 征点的第二匹配信息， 包括： 根据所述待检索图像的局部校验特征和所述多个召回图像的局部校验特征， 确定所述 待检索图像和所述多个召回图像中的每个召回图像之间的特征点的第二匹配信息， 其中， 所述通用图像库中的图像的局部校验特 征通过所述局部校验 模型确定 。权　利　要　求　书 1/4 页 2 CN 114880505 A 27.根据权利要求1所述的方法， 其中， 在所述从通用图像库中确定所述待检索图像的相 似图和/或相同图之前， 还 包括： 合并用于相似图检索的图像库和用于相同图检索的图像库， 并对合并后的图像库中的 图像进行去重， 得到所述 通用图像库。 8.一种全局召回模型的训练方法， 包括： 获取第一训练样本集， 其中， 所述第一训练样本集中的训练样本包括图像对和图像对 的分类数据； 利用机器学习方法， 通过全局召回模型得到 图像对中的图像的全局召回特征， 并确定 所输入的图像对对应的全局召回特征之 间的度量损失， 以及基于所输入的图像对对应的全 局召回特征得到的分类结果与该图像对对应的分类数据之 间的分类损失， 以通过所述度量 损失和所述分类损失更新所述全局召回模型， 得到训练后的全局召回模型。 9.根据权利要求8所述的方法， 其中， 所述通过所述度量损失和所述分类损失更新所述 全局召回模型， 得到训练后的全局召回模型， 包括： 根据所述度量损失和所述分类损失， 确定总损失； 根据所述总损失更新所述全局召回模型， 得到训练后的全局召回模型。 10.根据权利要求9所述的方法， 其中， 所述根据所述度量损失和所述分类损失， 确定总 损失， 包括： 基于批量规范化处 理， 使得所述度量损失和所述分类损失处于同一分布空间下； 结合处于同一分布空间下的所述度量损失和所述分类损失， 得到所述总损失。 11.根据权利要求9所述的方法， 其中， 还 包括： 在所述全局召回模型的更新过程中， 保持所述分类损 失的权重不变， 并采用热身策略 调整所述度量损失的权 重。 12.根据权利要求8所述的方法， 其中， 在所述获取第一训练样本集之前， 还 包括： 通过半监督聚类算法对预设图像库中的图像进行聚类， 并基于 图像之间的聚类结果， 得到所述第一训练样本集。 13.一种局部校验模型的训练方法， 其中， 所述局部校验模型包括全局分支、 特征重建 分支和注意力分支， 所述方法包括： 获取第二训练样本集， 其中， 所述第二训练样本集中的训练样本包括样本 图像和样本 图像的分类数据； 通过所述全局分支得到样本图像的全局特征， 并基于所述全局特征和所输入的样本图 像对应的分类数据确定第一损失； 通过所述特征重建分支得到目标特征的重建特征， 并基于所述重建特征与 所述目标特 征确定第二损失， 其中， 所述目标 特征由所述全局分支在提取 所述全局特 征的过程中得到； 通过所述注意力分支， 确定所述目标特征的注意力权重， 并根据所述注意力权重和所 述重建特征得到局部点特征， 并基于所述局部点特征和所输入的样本图像对应的分类数 据， 确定第三损失； 基于所述第 一损失、 所述第 二损失和所述第三损失， 更新所述局部校验模型， 以得到训 练后的局部校验 模型。 14.根据权利要求13所述的方法， 其中， 所述基于所述第一损 失、 所述第二损 失和所述权　利　要　求　书 2/4 页 3 CN 114880505 A 3