(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210688004.8 (22)申请日 2022.06.17 (71)申请人 重庆理工大 学 地址 400054 重庆市巴南区李 家沱红光大 道69号 (72)发明人 冯欣　王思平　单玉梅　明镝　 (74)专利代理 机构 成都东唐智 宏专利代理事务 所(普通合伙) 51261 专利代理师 晏辉 (51)Int.Cl. G06V 20/58(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/766(2022.01) G06V 10/764(2022.01) G06V 10/25(2022.01) G06V 10/22(2022.01) G06N 5/04(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于知识迁移的类关系推理的小样本目标 检测方法 (57)摘要 本发明公开了一种基于知识迁移的类关系 推理的小样 本目标检测方法， 涉及自动驾驶技术 领域。 本发明步骤如下： 通过基于元学习的检测 器和类间关系推理分支进行检测； 检测器利用卷 积神经网络作为特征提取器， 分别从支撑图像和 查询图像获得视觉特征映射， 利用区域提案网络 获取查询图像中的候选区域特征； 联合特征融合 模块将不同的类别在自然语言世界中的语义关 系进行迁移。 本发明通过一系列的改进， 能够在 使用时通过少量的样本数据； 并使用词嵌入来构 建语义空间， 在类别词嵌入的指导下， 通过联合 特征融合将类别词嵌入与图像视觉特征联系起 来， 提供给检测器更多的支撑信息， 然后利用图 卷积进行类间关系推理获取类原型。 权利要求书2页 说明书6页 附图3页 CN 115240161 A 2022.10.25 CN 115240161 A 1.一种基于知识迁移的类关系推理的小样本目标检测方法， 其特 征在于， 步骤如下： 通过基于元 学习的检测器和类间关系推理分支进行检测； 所述检测器利用卷积神经网络作为特征提取器， 分别从支撑图像和查询图像获得视觉 特征映射， 利用区域 提案网络获取查询图像中的候选区域特 征； 所述联合特征融合模块将不同的类别在自然语言世界中的语义关系 进行迁移， 利用基 于图卷积的类关系推理对融合特 征进行类别间的信息传输， 得到类别原型； 通过串联视觉特征与语义特征进行特征的早期融合， 将类别语义的先验知识进行迁 移； 串联的视觉和语义特征通过共享网络传递， 产生多模态嵌入， 帮助网络学习视觉和语 义特征之间的相互关系； 联合特征融合模块 的输入是每个类别的词嵌入v∈RN×d和一系列不同类别的支撑图像 的视觉特征fs∈RN×m； N个类别所有的融合嵌入ci通过一个函数F(ci)传递， 该函数混合特征产生多模态嵌入 bi＝F(ci)。 2.根据权利要求1所述的一种基于知识迁移 的类关系推理的小样本目标检测方法， 其 特征在于， 每一个由支撑图像提供的视 觉特征既包含视觉外观特征也包含空间位置信息 。 3.根据权利要求1所述的一种基于知识迁移 的类关系推理的小样本目标检测方法， 其 特征在于， 将每个类别的由支撑图像提供 的视觉特征与词嵌入连接起来， 再经过批量归一 化得到对应 类别的融合嵌入， 如公式所示： 其中 表示串联操作， v表示词嵌入， i代 表具体每一个类。 4.根据权利要求1所述的一种基于知识迁移 的类关系推理的小样本目标检测方法， 其 特征在于， 通过将每个多模态嵌入与原始词嵌入连接起来得到对应类别的多模态嵌入， 如 公式所示： 其中， bi表示为多模态嵌入， v表示词嵌入， i代 表具体每一个类； 并使用多模态嵌入来执 行后续基于图卷积的类关系推理， 得到每 个类别的类原型。 5.根据权利要求4所述的一种基于知识迁移 的类关系推理的小样本目标检测方法， 其 特征在于， 构建所述检测方法的模型， 步骤如下： S1： 元训练阶段， 提供了来自基 类的大量注释数据； S2： 元微调阶段， 在基 类和新类上训练模型。 6.根据权利要求5所述的一种基于知识迁移 的类关系推理的小样本目标检测方法， 其 特征在于， S2中每 个基类和新类均有K个具有边框注释标签的样本 。 7.根据权利要求5所述的一种基于知识迁移 的类关系推理的小样本目标检测方法， 其 特征在于， S1和S2中两个不同的阶段采用相同的损失函数， 公式如下： L＝Lrpn+Lcls+Lbox+Lmeta 其中， Lrpn是在FasterRCNN中提出， 用于训练区域提案网络以生成更高质量的候选区 域； Lcls是多分类交叉熵损失， 用于计算物体类别的损失函数， Lbox是检测框回归损失， 用于权　利　要　求　书 1/2 页 2 CN 115240161 A 2计算检测框的偏移量， 确定物体识别框位置的损失函数； Lmeta是针对类原型类别的交叉熵 损失， 用于生成能够高度概 括目标类别特 征的类原型。 8.根据权利要求7所述的一种基于知识迁移 的类关系推理的小样本目标检测方法， 其 特征在于， 使用元损失来进行约束， 避免候选区域与类原型聚合后的模糊预测； 元损失定义为交叉熵的形式， 如公式所示， 在预测具有类别原型的同时预测支撑 图像 xi所对应的标签信息， 元损失鼓励每 个原型保留每 个类别独有的判别性信息； 其中， yi， 分别表示从图卷积之前的类特征f0cls、 图卷积之后的类原型fcls得到的 预测值以及真实标签值， P表示条件概 率。权　利　要　求　书 2/2 页 3 CN 115240161 A 3