(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210811820.3 (22)申请日 2022.07.11 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 申请人 北京京航计算 通讯研究所 (72)发明人 王磊　王瑞生　白洋　张依漪　 (74)专利代理 机构 北京卓特专利代理事务所 (普通合伙) 11572 专利代理师 段旺　田冰 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 20/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于teach er-student模型的半监督目标检 测方法 (57)摘要 提供了基于teach er‑student模型的半监督 目标检测方法。 包括以下步骤： 获取半监督目标 检测数据集D； 在有标注数据集DL上按照全监督 目标检测方法， 用模型预测样本 的标注得到 teacher模型； 利用的teacher模型， 对无标签数 据XU做预测， 生成伪标签， 并用伪标签更新标注 集合YU； 对无标注样本集合XU进行数据增强第 五 步， 训练student模型； 将student模型的权重参 数θs以指数滑动平均的方式更新至teacher模 型的权重θt中； 进行数轮迭代， 以最终的 teacher模型作为所述基于teacher ‑student模 型的半监 督目标检测方法训练的目标模型。 权利要求书2页 说明书6页 附图2页 CN 115115886 A 2022.09.27 CN 115115886 A 1.一种基于teacher ‑student模型的半监督目标检测方法， 其特征在于， 包括以下步 骤： 第一步， 获取半监督目标检测数据集D， 其中， 半监督目标检测数据集D的元素来源于有 标注数据集DL和无标注数据集DU； 获取有标注数据集 N为有标注数据集中样本的数目， 其样本的集合 记为 分别为第1， 2， …， N个样本； 相应的标注的集合记为 分别为 对应的标注信息， 对于DL中每一个元素 可记为由样本 和标注 形成的二元组 i为正整数； 获取无标注数据集 M为无标注数据集中样本的数目对于DU中每一 个元素 可记为由样本 和标注 形成的二元组 来自于无标注样本 集合 来自于无标注样本的标注集合 其中YU为 其中的元 素 也为空， 在接下来 生成伪标签的步骤中为元 素 赋值； 第二步， 在有标注数据集DL上按照全监督目标检测方法， 对于每个输入的样本 用模 型预测样本 的标注， 使之和真实标注 尽量保持一致， 通过优化损失函数训练得到 teacher模型； ‑ 第三步， 利用的teach er模型， 对无标签 数据XU做预测， 将得到的预测结果进行置信 度阈 值过滤后生成伪标签， 并用伪标签更新标注集 合YU； 第四步， 对无标注样本集合XU进行数据增强， 包括遮挡、 平移、 旋转、 翻转、 颜色变换、 色 彩抖动和/或高斯模糊， 得到的集合记为记为 对第三步中更新后的标注集合YU也做相应 调整， 将调整后的标注集 合记为 得到扩充无 标签数据集 第五步， 训练student模型； 训练起始时将teacher模型的全部参数赋值给student模型 初始化， 并让student模型在扩充后的全部数据集 上再次训练； 训练时， 在每个 批次中将DL与 两部分数据进行一定比例的混合， 作为一个批次的数据送入student模型， 并以标注集合YL和前述步骤中生成的集合 作为监督信息进行训练， 计算并优化损失函 数， 得到st udent模型； 还利用一致正则化对扩充无标签数据集 在训练中产生的损失函 数 作约束； 迭代训练数个 轮次， 直至模型损失函数收敛至稳定结果； 第六步， 将student模型的权重参数θs以指数滑动平均的方式更新至teacher模型的权 重θt中； 该步骤要求： 对于student模型中全部可以训练的参数θs， 以 的公式将teac her模型权 重θt迭代更新， 其中j为当前迭代次数， a为 参数更新权重； 第七步， 按照第三步至第六步的操作进行数轮迭代， 每一轮迭代中将teacher模型输出 的集合 作为监督信息训练student模 型， 并将student模 型参数更新至teacher模 型中， 在 下一轮迭代中使用更新的teacher模型对XU重新预测， 将生成的结果作为新 的伪标签信息 监督student模型的训练； 如此循环往复， 直至student模型损失函数在迭代中收敛稳定； 以 最终的teacher模型作为所述基于teacher ‑student模型的半监督目标检测方法训练的目 标模型。权　利　要　求　书 1/2 页 2 CN 115115886 A 22.根据权利要求1所述的方法， 其中所述第一步包括收集图像数据， 建立数据集； 对其 中部分图像数据作完全且精确的标定框标注， 该部 分图像数据在所接收的图像数据中的比 例不超过20％； 该部分图像数据集即为XL， 其相应的标注记为YL； 其余无标注的图像数据集 记为XU。 3.根据权利要求1所述的方法， 其中所述第二 步中的目标检测学习方法包括： 一、 使用特征提取网络提取图像特征， 其中特征提取网络包括VGG， ResNet， Mobilenet， RetinaNet或者Ef ficientNet； 二、 使用特征加工网络对图像特征做进一步提取与优化， 其中特征加工网络包括BAM， CBAM， SPP， FPN和/或NAS ‑FPN； 三、 使用目标检测头预测目标的种类与位置， 其中目标检测头包括SSD， YOLO， Faster   RCNN或者CenterNet； 四、 优化损失函数将输出的预测结果与标注信息保持一致， 损失函数定义为 此处数据来源于DL， 即xi为样本集合XL的元素， yi为标注集合YL的元素； θ为 teacher模型内的可学习参数； 损失函数P(xi|yi， θ )的形式包括MSE， L2， IoU  loss或者Focal   loss。 4.根据权利要求2所述的方法， 所述第三步中， 使用所述teacher模型， 将XU作为待预测 数据输入所述teacher模型， 得到的结果即为该部分数据的预测标签， 称其为伪标签， 并用 伪标签更新标注集 合YU。 5.根据权利要求1所述的方法， 所述第 四步中， 使用的数据增强方法包括图像的遮挡、 平移、 旋转、 翻转、 颜色变换、 色彩抖动和/或高斯模糊； 其中， 遮挡会将图片上随机选取的一 定大小方框填充为纯色色块， 以起到遮挡屏蔽的作用； 平移指将图像整体 向各个方向平移 一定距离； 旋转指图像以图像中心作顺时针或逆时针的旋转； 翻转指以图像的中心垂直轴 或水平轴作翻转； 颜色变换指将数据集的RGB图像转换为HSV或者灰度图像等； 色彩抖动通 过对构成图像的色相产生位移， 造成临近点状差异的色彩交叉效果； 高斯模糊指图像与正 态分布做卷积， 使图像模糊化， 可视作一低通滤波器。 6.根据权利要求1所述的方法， 所述第五步中， 训练过程中数据的混合方法如下： 一个 批次的训练中， 分别从DL与 中随机各取出部分数据， 两者之间 的比例定为一 固定值δ， 该 值的选取视具体项目而定 。 7.根据权利要求3所述的方法， 所述第五步中， 所述Student模型的损失函数形式与所 述teacher模型保持一 致， 即 仅数据来源变更为全部数据集 8.根据权利要求1所述的方法， 所述第五步 中， teacher模型与student模型具有完全一 致的可学习参数， 且训练前student模型参数数值也与teacher模 型完全相同， 故称student 模型为teac her模型的一份完全拷贝。 9.一种信息处理设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的 程序， 行所述程序时实现， 其特征在于， 所述计算机程序由处理器执行时实现如权利要求1 至8任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115115886 A 3