(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210801970.6 (22)申请日 2022.07.08 (71)申请人 劢微机器人科技 （深圳） 有限公司 地址 518000 广东省深圳市光明区凤 凰街 道塘尾社区恒泰 裕大厦1栋 601 (72)发明人 郑恩涛　 (74)专利代理 机构 深圳市恒程创新知识产权代 理有限公司 4 4542 专利代理师 冯俊贤 (51)Int.Cl. G06V 20/58(2022.01) G06T 7/30(2017.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06T 5/00(2006.01)G06T 5/10(2006.01) (54)发明名称 叉车避障方法、 装置、 叉 车及存储介质 (57)摘要 本发明属于叉车避障技术领域， 公开了一种 叉车避障方法、 装置、 叉车及存储介质， 所述方法 包括： 在通过单目相机获取图像数据之后， 将所 述图像数据通过目标网络模型进行目标检测， 得 到检测结果； 通过智能深度相机获取点云信息； 基于所述检测结果和所述点云信息进行融合匹 配， 得到障碍物信息； 根据所述障碍物信息中的 障碍物类别以及位置信息确定避障策略， 并基于 所述避障策略进行避障。 本申请能够基于障碍物 信息和点云信息的融合匹配结果实现针对性避 障， 减少盲目避障， 降低叉车上货物发生倾倒的 可能性。 权利要求书2页 说明书8页 附图4页 CN 115240164 A 2022.10.25 CN 115240164 A 1.一种叉车避障方法， 其特征在于， 所述叉车避障方法应用于叉车， 所述叉车上设有信 息采集区域， 在所述信息采集区域设置依 次排列的单目相 机和智能深度相 机， 通过所述单 目相机和智能深度相机进行 数据采集； 所述叉车避障方法包括： 在通过单目相机获取图像数据之后， 将所述图像数据通过目标网络模型进行目标检 测， 得到检测结果； 通过智能深度相机获取点云信息； 基于所述检测结果和所述 点云信息进行融合匹配， 得到障碍物信息； 根据所述障碍物信 息中的障碍物类别以及位置信 息确定避障策略， 并基于所述避障策 略进行避障。 2.如权利要求1所述的方法， 其特 征在于， 所述 通过智能深度相机获取点云信息， 包括： 通过智能深度相机获取初始点云信息； 对所述初始点云信息进行降采样 操作以及滤波操作， 得到点云信息 。 3.如权利要求1所述的方法， 其特征在于， 所述根据 所述障碍物信 息中的障碍物类别以 及位置信息确定避障策略， 包括： 基于所述障碍物信 息通过卡尔曼滤波对障碍物进行追踪， 确定所述障碍物的类别信 息 和位置信息； 根据所述类别 信息和所述 位置信息， 确定避障策略。 4.如权利要求1所述的方法， 其特征在于， 所述避障策略包括第 一避障策略和第 二避障 策略， 所述 根据所述类别 信息和所述 位置信息， 确定避障策略， 包括： 判断所述类别 信息是否为预设类别； 若所述类别 信息为预设类别， 则确定所述避障策略为第一避障策略； 若所述类别 信息不为预设类别， 则判断所述 位置信息是否小于预设距离； 若所述位置信息小于预设距离， 则确定所述避障策略为第一避障策略； 若所述位置信 息不小于预设距离， 则确定所述避障策略为第 二避障策略， 其中， 所述第 一避障策略的避障紧急等级高于所述第二避障策略的避障紧急等级。 5.如权利要求1所述的方法， 其特征在于， 所述将所述图像数据通过目标网络模型进行 目标检测， 得到检测结果， 包括： 调用depthai接口和openvi no接口， 加载 出blob格式的目标检测模型； 将所述图像数据通过bl ob格式的目标检测模型进行目标检测， 得到检测结果。 6.如权利要求5所述的方法， 其特征在于， 所述调用depthai接口和openvino接口， 加载 出blob格式的目标检测模型之前， 还 包括： 在GPU上训练初始模型 得到目标检测模型； 通过openvino平台将所述目标检测模型中的权重值进行转换， 得到blob格式的目标检 测模型。 7.如权利 要求6所述的方法， 其特征在于， 所述通过所述openvino平台将所述目标检测 模型中的权 重值进行转换， 得到bl ob格式的目标检测模型， 包括： 通过所述openvino平台将所述目标检测模型中的权重值依次通过weight转化、 pb转 换、 bin+xml转换以及bl ob转换， 得到bl ob格式的目标检测模型。权　利　要　求　书 1/2 页 2 CN 115240164 A 28.一种叉 车避障装置， 其特 征在于， 所述叉 车避障装置包括： 确定单元， 用于在通过单目相机获取图像数据之后， 将所述图像数据通过目标网络模 型进行目标检测， 得到检测结果； 获取单元， 用于通过智能深度相机获取点云信息； 所述确定单元， 用于基于所述检测结果和所述点云信息进行融合匹配， 得到障碍物信 息； 所述确定单元， 用于根据所述障碍物信息中的障碍物类别以及位置信息确定避障策 略， 并基于所述避障策略进行避障。 9.一种叉车， 其特征在于， 所述叉车包括： 存储器、 处理器及存储在所述存储器上并可 在所述处理器上运行的叉车避障程序， 所述叉车避障程序配置为 实现如权利要求1至7中任 一项所述的叉 车避障方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质上存储有叉车避障程序， 所述叉车避障 程序被处 理器执行时实现如权利要求1至7任一项所述的叉 车避障方法的步骤。权　利　要　求　书 2/2 页 3 CN 115240164 A 3