(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211206166.X (22)申请日 2022.09.30 (71)申请人 上海花千树信息科技有限公司 地址 200092 上海市杨 浦区控江路1 142号 23幢5114-54室 (72)发明人 闫新宇　陈天博　 (74)专利代理 机构 青海中赢知识产权代理事务 所(普通合伙) 63104 专利代理师 蒋志税 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/9532(2019.01) G06F 16/583(2019.01) G06Q 50/00(2012.01) (54)发明名称 一种在婚恋软件上根据条件搜索人脸的方 法及装置 (57)摘要 本发明提供一种在婚恋软件上根据条件搜 索人脸的方法， 包括以下步骤： 使用开源数据集 CelebA中的 图像和人脸属性标签， 训练人脸属性 分类模型， 提取40个类别的人脸属性标签， 使用 S1中训练好的模型提取用户生活照的人脸特征 标签， 使用S2中构建的数据集， 对CLIP的预训练 模型进行微调， 实现文本描述和图像特征相结合 的多模态对比学习， 根据业务需求选择需要搜索 的文本标签， 使用CLIP模型提取人脸属性标签， 用于条件人脸搜索。 本发明提供的一种在婚恋软 件上根据条件搜索人脸的方法及装置， 通过多模 态对比学习的方法， 对CLIP模型进行微调训练， 并结合用户基本的属性信息， 实现了不同模态数 据的联合搜索， 通过本发明所述方法。 权利要求书2页 说明书6页 附图5页 CN 115544359 A 2022.12.30 CN 115544359 A 1.一种在婚恋软件上根据条件搜索人脸的方法， 其特 征在于， 包括以下步骤： S1、 使用开源数据 集CelebA中的图像和人脸属性标签， 训练人脸属性分类模型， 提取40 个类别的人脸属性标签； S2、 使用S1中训练好的模型提取用户生活照的人脸特征标签， 使用预训练的人脸关键 点提取模型提取特征点， 根据特征点的位置补充人脸特征标签， 通过人工筛选并制作每张 照片的语言描述， 制作图像和文本对作为训练集； S3、 使用S2中构 建的数据集， 对CLIP的预训练模型进行微调， 实现文本描述和图像特征 相结合的多模态对比学习； S4、 根据业务需求选择需要搜索的文本标签， 使用CLIP模型提取人脸属性标签， 用于条 件人脸搜索； S5、 将用户的图像人脸属性标签和用户的基本信息写入到ES集群中， 实现不同模态的 联合搜索。 2.根据权利要求1所述的在婚恋软件上根据 条件搜索人脸的方法， 其特征在于， 所述S4 中的图像条件人脸搜索包括： 用户人脸特 征标签数据库， 图像人脸特 征标签提取web服 务。 3.根据权利要求2所述的在婚恋软件上根据 条件搜索人脸的方法， 其特征在于， 所述所 述的用户人脸特征标签数据库包含用户uid， 图片pid， 人脸特征标签id， 以及用户的基础信 息数据， 使用ES集群来存 储上述数据， 可实现不同模态条件的联合搜索。 4.根据权利要求2所述的在婚恋软件上根据 条件搜索人脸的方法， 其特征在于， 所述所 述图像人脸特征标签提取的web服务， 包括人脸检测模型， CLIP特征提取模型， 特征相似度 计算模块， 其中文本特征离线计算好， 每次请求 实时计算图像特征和文本特征的相似度， 从 而实现文本标签的提取。 5.一种在婚恋软件上根据条件搜索人脸装置， 其特征在于， 包括： 两个固定板， 两个所 述固定板之间设置有滑动组件； 连接杆， 所述连接杆 连接于所述滑动组件的一侧； 转动件， 所述 转动件连接 于所述连接杆的一端； 拆卸组件， 所述拆卸组件设置 于所述转动件的一侧； 固定架， 所述固定架连接 于所述拆卸组件的一侧， 所述固定架的内部设置有摄 像机。 6.根据权利要求5所述的在婚恋软件上根据 条件搜索人脸装置， 其特征在于， 所述滑动 组件包括两个滑槽， 两个所述滑槽的内部均滑动连接有滑块， 两个所述滑块之间通过转动 轴转动连接有转动杆。 7.根据权利要求5所述的在婚恋软件上根据 条件搜索人脸装置， 其特征在于， 所述拆卸 组件包括拆卸套， 所述拆卸套的内部设置有拆卸块， 所述拆卸块的一侧与所述固定架表面 一侧的中心位置固定连接 。 8.根据权利要求5所述的在婚恋软件上根据 条件搜索人脸装置， 其特征在于， 两个所述 固定板的一侧均设置有调节组件， 所述调节组件包括移动槽， 所述移动槽的内部设置有移 动块， 所述移动块的一侧连接有连接 板。 9.根据权利要求8所述的在婚恋软件上根据 条件搜索人脸装置， 其特征在于， 所述连接 板的一端设置有设置有固定组件， 所述固定组件包括固定栓， 所述固定架的表面连接有固 定座。权　利　要　求　书 1/2 页 2 CN 115544359 A 210.根据权利要求5所述的在婚恋软件上根据条件搜索人脸装置， 其特征在于， 所述固 定架的一侧设置有安装组件， 所述安装组件包括连通槽， 所述连通槽的内部 设置有安装块， 所述安装块的两侧均连接有卡块， 所述连通槽内壁的两侧均开设有与两个所述卡块相适配 的卡槽， 所述固定架的内部且位于所述连通槽的两侧均设置有卡接件， 所述卡块的内部开 设有与所述 卡接件相适配的卡接 槽。权　利　要　求　书 2/2 页 3 CN 115544359 A 3