(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210819309.8 (22)申请日 2022.07.13 (71)申请人 南开大学 地址 300000 天津市南 开区卫津路94 号 (72)发明人 王恺　马志　刘蒙蒙　李涛　 (74)专利代理 机构 天津睿勤专利代理事务所 (普通合伙) 12225 专利代理师 孟福成 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/20(2022.01) G06V 10/40(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) (54)发明名称 一种融合外观信息的行人重识别联合优化 方法 (57)摘要 本发明提供了一种融合外观信息的行人重 识别联合优化方法， 包括以下步骤： 利用数据增 强策略预处理跨外观行人重识别数据集； 根据图 像中行人的身份属性和外观属性， 生成多身份多 外观的批次图像； 使用特征提取网络提取高维特 征矩阵， 池化获取行人高维特征， 批次归一化得 到行人推理特征； 基于行人推理特征连接不同的 全连接层分别获取身份分类特征和外观分类特 征； 计算最难三元损失、 多外观三元损失、 身份分 类损失和外观分类损失， 四种损失加权求和并端 到端地联合优化； 损失层梯度反向传播， 更新权 值参数； 迭代计算直至特征提取网络模型收敛。 本发明提升了模型在同外观和跨外观环境下的 综合检索性能。 权利要求书2页 说明书6页 附图3页 CN 115116095 A 2022.09.27 CN 115116095 A 1.一种融合外观信息的行 人重识别联合优化方法， 其特 征在于： 包括以下步骤： 步骤1： 利用数据增强策略预处 理跨外观行 人重识别数据集； 步骤2： 根据完成预处理的图像 中行人的身份属性和外观属性， 生成多身份多外观的批 次图像； 步骤3： 使用特 征提取网络提取高维特 征矩阵， 并进行池化获取 行人高维特 征； 步骤4： 基于行 人高维特 征进行批次归一 化得到行 人推理特 征； 步骤5： 基于行人推理特征连接不同的全连接层分别获取身份分类特征和外观分类特 征； 步骤6： 基于行人高维特征计算最难三元损失和多外观三元损失， 并基于身份分类特征 和外观分类特征分别计算身份分类损失和外观分类损失， 再将四种损失加权求和并端到端 地联合优化； 步骤7： 损失层 梯度反向传播， 更新特 征提取网络及全连接层的权值 参数； 步骤8： 重复步骤2 ‑7， 直至特征提取网络模型收敛， 或者达到最大迭代次数， 得到多损 失联合优化模型。 2.如权利要求1所述的融合外观信 息的行人重识别联合优化方法， 其特征在于： 包括以 下步骤： 步骤1中， 训练集的图像使用缩放、 随机水平翻转、 填充、 随机裁切、 减均值除方差、 随机擦除进行 预处理。 3.如权利要求1所述的融合外观信息的行人重识别联合优化方法， 其特征在于： 步骤2 中， 每一个批次图像中包含固定数量的行人， 每个行人包含固定数量的外观， 并且每种外观 包含固定数量的图像。 4.如权利要求1所述的融合外观信 息的行人重识别联合优化方法， 其特征在于： 包括以 下步骤： 步骤6中， 最难三元损失LHardTri： 其中， 其中α表示间隔参数， D表示距离度量， 表示批次中第p个人的第k张图像 的高维特 征， 1≤p≤P， 1≤k≤K； k ′表示第k′张图像， p ′表示第p′个人； 多外观三元损失LMATri： 其中， 表示批次中第p个人的第a种外观的第k张图像 的高维特征， 1≤p≤ P， 1≤a≤A， 1≤k≤K， pb表示第p个人的第b种外观。 5.如权利要求1所述的融合外观信 息的行人重识别联合优化方法， 其特征在于： 包括以 下步骤： 步骤6中， 身份分类损失LID：权　利　要　求　书 1/2 页 2 CN 115116095 A 2外观分类损失LAP： 其中， xi(1≤i≤N)、 yi、 zi分别表示图像及其身份类别和外观类别， p(yi|xi)和p(zi|xi) 分别表示图像xi被模型识别为身份 类别yi和外观类别zi的概率。 6.如权利要求1所述的融合外观信 息的行人重识别联合优化方法， 其特征在于： 包括以 下步骤： 步骤6中， 整体损失L： L＝LHardTri+LID+λ1LMATri+λ2LAP 其中， λ1和 λ2分别表示多外观三元损失和外观分类损失的权重参数， LHardTri表示最难三 元损失， LMATri表示多外观三元损失， LID表示身份分类损失， LAP表示外观分类损失。 7.如权利要求6所述的融合外观信 息的行人重识别联合优化方法， 其特征在于： 包括以 下步骤： λ1和 λ2均设置为0.2。权　利　要　求　书 2/2 页 3 CN 115116095 A 3