(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210716215.8 (22)申请日 2022.06.23 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 李君　林佩怡　李灯辉　贾宇航　 陈盈宜　陆华忠　黄光文　姚中威　 周峥琦　周浩波　李泓材　凌广鑫　 叶勇　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李斌 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/10(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/25(2022.01) G06V 10/22(2022.01) G06N 3/04(2006.01) (54)发明名称 果树成花率估测方法、 系统、 设备及存储介 质 (57)摘要 本发明公开了一种果树 成花率估测方法、 系 统、 设备及存储介质， 方法包括： 采集果树花期的 RGB图像， 对所述RGB图像进行预处理， 构建图像 数据集； 对 所述图像数据集的花穗和树梢进行标 注， 获得完成标注的图像数据集； 利用图像数据 集对预先设立的目标检测模型进行预训练， 通过 对比精确度， 选择最优的目标检测模型参数； 利 用最优的目标检测模型参数对目标检测模型进 行训练， 得到训练好的目标检测模型； 利用训练 好的目标检测模型对单棵果树的花穗和树梢进 行目标检测， 并构建单棵果树花穗和树梢的数量 估计模型， 利用数量估计模型对待检测果树成花 率进行估计。 本发明结合无人机技术和深度学习 技术， 通过 实现果树花穗和树梢快速且准确地检 测， 从而为果树成花率的估测提供智能化的技术 手段。 权利要求书3页 说明书8页 附图3页 CN 115063703 A 2022.09.16 CN 115063703 A 1.果树成花率估测方法， 其特 征在于， 包括下述 步骤： 采集果树花期的RGB图像， 对所述RGB图像进行 预处理， 构建图像数据集； 对所述图像数据集的花穗和树梢进行标注， 获得完成标注的图像数据集， 并将完成标 注的图像数据集划分为训练集、 验证集和 测试集； 利用图像数据集对预先设立的目标检测模型进行预训练， 通过对比精确度， 选择最优 的目标检测模型参数； 利用最优的目标检测模型参数对目标检测模型进行训练， 得到训练好的目标检测模 型； 利用训练好的目标检测模型对单棵果树的花穗和树梢进行目标检测， 并构建单棵果树 花穗和树梢的数量估计模型， 利用数量估计模型对待检测果 树成花率进行估计。 2.根据权利要求1所述果树成花率估测方法， 其特征在于， 在采集果树花期的RGB图像 时， 使用无人机地面站软件规划飞行任务， 向无人机传送飞行任务并接 收无人机返回的图 传数据， 完成选 定果树区域的图像采集， 获取果 树花期图像， 所述 果树花期图像 格式为JPG。 3.根据权利要求1所述果树成花率估测方法， 其特征在于， 对所述RGB图像进行预处理， 具体为： 将RGB图像进行图像裁剪； 然后， 对过曝、 模糊不清晰的图像进行筛选， 保留清晰的图像 作为图像数据集的原图像； 利用Pytho n编程语言对原图像进行 数据增强。 4.根据权利要求1所述果树成花率估测方法， 其特征在于， 对所述图像数据集的花穗和 树梢进行 标注， 具体为： 采用LabelImg软件对图像数据集中花穗和树梢样本进行标注， 样本标签为两个， 分别 是花穗和树梢； 标注框为 ROI的矩形框， 花穗和树梢的图像标注信息以VOC格式保存， 标注后 生成对应的xml文件， xml文件包含图像的存储信息、 图像名称、 标注名称和标注矩形框的坐 标信息。 5.根据权利要求1所述果树成花率估测方法， 其特征在于， 所述利用图像数据集对预先 设立的目标检测模型进行预训练， 通过对比精确度， 选择最优的目标检测模型参数， 具体 为： 确定输入图像尺寸大小， 保持其他模型参数不变： 冻结阶段的学习率为0.001， epoch为 500个， 迭代次数为90000次； 解冻阶段的学习率为0.0001， epoch为500个， 迭代次数为 180000次； 只改变目标检测模型的输入图像尺寸， 对比不同输入图像大小的模型精度和检 测速度， 得到最优输入图像尺寸； 确定批量处理大小， 保持其他模型参数不变： 图像输入尺寸固定为最优输入图像尺寸， 冻结阶段的学习率为0.001， epoch为500个， 迭代次数为90000次； 解冻阶段的学习率为 0.0001， epoch为500个， 迭代次数为180000 次， 只改变目标检测模型的批量处理大小， 对比 不同批量处 理大小的模型精度， 得到最优批量处 理大小； 确定训练轮数epoch， 保持其他模型参数不变： 图像输入尺寸固定为最优输入图像尺 寸， 固定批量处理大小为最优批量处理大小； 冻结阶段的批量处理大小为4、 学习率为 0.001， 解冻阶段的批量处理大小为2、 学习率设为0.0001， 只改变目标检测模型的epoch， 对 比不同epoc h的模型精度， 获取最优训练轮数 epoch。 6.根据权利要求1所述果树成花率估测方法， 其特征在于， 利用最优的目标检测模型参权　利　要　求　书 1/3 页 2 CN 115063703 A 2数对目标检测模型进行训练， 得到训练好的目标检测模型， 具体为： 目标检测模型的加载模块 导入预训练参数， 对目标 赋予一个初始权 重值； 将RGB图像输入到目标检测模型的主干特征提取模块， 经过卷积和多次残差网络结构 的堆叠， 提取深层次的花 穗和树梢特 征； 对主干特征提取模块操作后的特征图像进行池化处理， 增加感受野， 分离出最显著 的 上下文特征； 再进行多尺度特 征融合操作， 准确地保存空间信息， 正确定位像素点； 对获取到的特 征进行预测， 对预测结果进行解码， 利用先验框计算出 预测框的长和宽； 在标检测模型训练的过程中， 每完成一轮训练， 利用验证集中的图像和标注数据对当 前目标检测模型进行验证， 根据验证结果调整当前目标检测模型的权 重值； 设定最大迭代次数， 当达到预设的最大迭代次数或者在验证集上错误率不再下降时终 止训练， 选取验证结果 最优的目标检测模型作为 花穗和树梢的目标检测模型。 7.根据权利要求1所述果树成花率估测方法， 其特征在于， 并构建单棵果树花穗和树梢 的数量估计模型， 具体为： 统计出每棵果树上花穗和树梢的真实数量， 然后， 通过无人机获得每棵果树的花期图 像， 采用目标检测模型检测出每棵果 树上花穗和树梢的数量； 对所得到花穗和树梢对应的数据进行指数拟合、 线性拟合、 对数拟合、 二项式拟合、 幂 拟合， 综合分析和对比结果， 利用最优的拟合方程构建出单棵果树上花穗和 树梢的数量估 计模型； 其中， 在利用目标检测模型检测每棵果树上花穗和树梢的数量时， 由于 图像是通过无 人机在空中俯视拍摄获得， 图像中每棵果树边缘部分出现了相互遮挡的情况， 因此， 采用 photoshop软件从原始图像裁剪出目标果树的图像， 然后对 所获图像进行4 ×5的图像裁剪， 再对裁剪出的图像进行检测， 获得每棵树上花 穗和树梢的数量。 8.果树成花率估测系统， 其特征在于， 包括数据采集模块、 数据标注模块、 模型预训练 模块、 模型训练模块以及估测模块； 所述数据采集模块， 用于采集果树花期的RGB图像， 对所述RGB图像进行预处理， 构 建图 像数据集； 所述数据标注模块， 用于对所述图像数据集的花穗和树梢进行标注， 获得完成标注的 图像数据集， 并将完成标注的图像数据集划分为训练集、 验证集和 测试集； 所述模型预训练模块， 用于利用图像数据集对预先设立的目标检测模型进行预训练， 通过对比精确度， 选择最优的目标检测模型参数； 所述模型训练模块， 用于利用最优的目标检测模型参数对目标检测模型进行训练， 得 到训练好的目标检测模型； 所述估测模块， 用于利用训练好的目标检测模型对单棵果树的花穗和树梢进行目标检 测， 并构建单棵果树花穗和 树梢的数量估计模型， 利用数量估计模型对待检测果树成花率 进行估计。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序指令， 所述计算机程序权　利　要　求　书 2/3 页 3 CN 115063703 A 3