(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210776709.5 (22)申请日 2022.07.04 (65)同一申请的已公布的文献号 申请公布号 CN 114842365 A (43)申请公布日 2022.08.02 (73)专利权人 中国科学院地理科 学与资源研究 所 地址 100101 北京市朝阳区大屯路甲1 1号 专利权人 中国科学院合肥物质科 学研究院 (72)发明人 张超凡　陶泽兴　王琦　吴茂炜　 丁子津　 (74)专利代理 机构 北京正和明知识产权代理事 务所(普通 合伙) 11845 专利代理师 刘阳阳　李建刚(51)Int.Cl. G06V 20/17(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 周永传 (54)发明名称 一种无人机航拍目标检测识别方法和系统 (57)摘要 本发明提出一种无人机航拍目标检测识别 方法和系统。 方法包括： 融合公开数据和实际采 集的数据， 构建大量的训练和测试数据库， 采用 旋转数据增强和Mosaic数据增强处理原始样本 图像， 丰富样本数量以及提高复杂背景和小目标 在样本中的比例； 设计加权循环的特征金字塔融 合不同尺度的特征图， 得到融合丰富语义信息和 几何位置 特征信息的特征图； 根据不同尺度大小 的特征图， 将分类和回归视为两个任务， 设计注 意力机制分别处理两个不同的任务， 获取鲁棒的 特征； 设计一种动态调节多任务损失的方法， 提 高网络模型的收敛速度； 设定一定的步长， 训练 网络， 探究权重大小对精度的影响， 得到使网络 泛化能力更强的权重， 从而实现对 无人机航拍目 标的准确检测识别。 权利要求书3页 说明书11页 附图6页 CN 114842365 B 2022.11.29 CN 114842365 B 1.一种无 人机航拍目标检测识别方法， 其特 征在于， 所述方法包括： 步骤S1、 收集 航拍目标的图像并建立图像数据集； 步骤S2、 对所述图像数据集中的图像进行 标注； 步骤S3、 采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式， 对含有标注 的图像进行增强处 理， 得到处 理后的增强的图像数据集； 步骤S4、 将增强后的图像进行归一化处理， 输入模型的主干网络， 得到相应的第一特征 图； 步骤S5、 设计加权循环 的特征金字塔结构， 对不同分辨率的所述第一特征图添加不同 的权重， 得到融合丰富语义信息和几何位置特 征信息的第二特 征图； 在YOLOX原始的特征金字塔结构基础上进行处理， 将Darknet5的结果直接上采样和 Darknet5与Darknet4特征融合后的结果进行加权特征融合， 并将加权特征融合的结果直接 和Darknet3的结果进行融合， 将特征金字塔结构循环两次得到加权循环的特征金字塔结 构； 使用深度可分离卷积以减缓循环造成的参数量和计算 量的上升； 步骤S6、 根据不同尺度大小的第二特征图， 将无人机航拍目标检测识别中的分类和回 归视为两个任务， 分别提取特征， 获取不同任务的鲁棒特征， 获得类别、 位置信息和置信度 的预测结果； 步骤S7、 通过均衡难分类样本与易分类样本， 以及考虑不同的损失权重， 建立Focal   Loss函数； 建立Focal  Loss函数的具体公式为： Lnew＝w1Liou+w2Lcls+w3FLconf 其中， Liou表示边界框的损失， Lcls表示类别的损失， FLconf表示置信度的损失； w1表示对 边界框的损失权 重， w2表示对类别的损失权 重， w3表示对置信度的损失权 重； 若用t表示epoc h次数， 即训练次数， 则w1、 w2和w3的计算公式为： 其中， w1′、 w2′和w3′为计算的过程变量， wn为更新计算后的权重； 在训练初试阶段， 前两 个epoch会先以1为权 重， 第三个epoc h会按照所述 w1、 w2和w3的计算公式进行计算； 步骤S8、 设定一定的步长， 训练模型， 探究模型的网络权重大小对精度的影响， 得到使 模型的网络泛化能力更强的权 重； 采用迁移学习的方式， 预训练所述主干网络的权重， 所述主干网络先冻结训练， 然后在权　利　要　求　书 1/3 页 2 CN 114842365 B 2所述图像数据集上进行微调， 微调后主干网络解冻， 参与模型的训练； 步骤S9、 应用训练好的模型做无 人机航拍目标的检测识别。 2.根据权利要求1所述的一种无人机航拍目标检测 识别方法， 其特征在于， 在所述步骤 S3中， 所述采用融合旋转数据增强和Mosaic数据增强的样本数据增强方式， 对含有标注的 图像进行增强处 理的方法包括： 采用albumentations库对图像以一定概率进行旋转增强， 同时以一定概率进行Mosaic 数据增强。 3.根据权利要求1所述的一种无人机航拍目标检测 识别方法， 其特征在于， 在所述步骤 S6中， 所述根据不同尺度大小的第二特征图， 将无人机航拍目标检测识别中的分类和回归 视为两个任务， 分别提取特征， 获取不同任务的鲁棒特征， 获得类别、 位置信息和置信度的 预测结果的方法包括： 设计基于多任务注意力机制的预测头， 通过融合通道注意力和 空间注意力机制， 分别 处理两个不同的任务， 获取不同任务的鲁棒特征， 然后， 将融合通道注意力和空间注意力机 制的每个特征层作为共享特征层， 再将共享特征层的特征通过Force  Attention  Block模 块， 获得类别、 位置信息和置信度的预测结果。 4.根据权利要求3所述的一种无人机航拍目标检测 识别方法， 其特征在于， 在所述步骤 S6中， 将共享特征层的特征通过Force  Attention  Block模块， 获得类别、 位置信息和置信 度的预测结果的方法包括： 采用第一个Force  Attention  Block模块， 将共享特征层的特征通过一层卷积学习注 意力的掩码， 将所述掩码的结果和另外一个共享特征层的特征相乘， 进而得到第三特征图； 同时在第二个Forc e Attention  Block模块和第三个For ce Attention  Block模块， 先将 共 享特征层的特征和前一个Force  Attention  Block模块的输出相加后， 再利用卷积学习注 意力掩码， 获得类别、 位置信息和置信度的预测结果。 5.一种用于无 人机航拍目标检测识别系统， 其特 征在于， 所述系统包括： 第一处理模块， 被 配置为， 收集 航拍目标的图像并建立图像数据集； 第二处理模块， 被 配置为， 对所述图像数据集中的图像进行 标注； 第三处理模块， 被配置为， 采用融合旋转数据增强和Mosaic数据增强的样本数据增强 方式， 对含有标注的图像进行增强处 理， 得到处 理后的增强的图像数据集； 第四处理模块， 被配置为， 将增强后的图像进行归一化处理， 输入基线模型的主干网 络， 得到相应的第一特 征图； 第五处理模块， 被配置为， 设计加权循环的特征金字塔结构， 对不同分辨率的所述第一 特征图添加不同的权 重， 得到融合丰富语义信息和几何位置特 征信息的第二特 征图； 在YOLOX原始的特征金字塔结构基础上进行处理， 将Darknet5的结果直接上采样和 Darknet5与Darknet4特征融合后的结果进行加权特征融合， 并将加权特征融合的结果直接 和Darknet3的结果进行融合， 将特征金字塔结构循环两次得到加权循环的特征金字塔结 构； 使用深度可分离卷积以减缓循环造成的参数量和计算 量的上升； 第六处理模块， 被配置为， 根据不同尺度 大小的第 二特征图， 将无人机航拍目标检测 识 别中的分类和回归视为两个任务， 分别提取特征， 获取不同任务的鲁棒特征， 获得类别、 位 置信息和置信度的预测结果；权　利　要　求　书 2/3 页 3 CN 114842365 B 3