叉车避障方法、装置、叉车及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115240164A(43)申请公布日2022.10.25(21)申请号202210801970.6G06T5/10(2006.01)(22)申请日2022.07.08(71)申请人劢微机器人科技（深圳）有限公司地址518000广东省深圳市光明区凤凰街道塘尾社区恒泰裕大厦1栋601(72)发明人郑恩涛(74)专利代理机构深圳市恒程创新知识产权代理有限公司44542专利代理师冯俊贤(51)Int.Cl.G06V20/58(2022.01)G06T7/30(2017.01)G06V10/75(2022.01)G06V10/80(2022.01)G06T5/00(2006.01)权利要求书2页说明书8页附图4页(54)发明名称叉车避障方法、装置、叉车及存储介质(57)摘要本发明属于叉车避障技术领域，公开了一种叉车避障方法、装置、叉车及存储介质，所述方法包括：在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；通过智能深度相机获取点云信息；基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。本申请能够基于障碍物信息和点云信息的融合匹配结果实现针对性避障，减少盲目避障，降低叉车上货物发生倾倒的可能性。CN115240164ACN115240164A权利要求书1/2页1.一种叉车避障方法，其特征在于，所述叉车避障方法应用于叉车，所述叉车上设有信息采集区域，在所述信息采集区域设置依次排列的单目相机和智能深度相机，通过所述单目相机和智能深度相机进行数据采集；所述叉车避障方法包括：在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；通过智能深度相机获取点云信息；基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。2.如权利要求1所述的方法，其特征在于，所述通过智能深度相机获取点云信息，包括：通过智能深度相机获取初始点云信息；对所述初始点云信息进行降采样操作以及滤波操作，得到点云信息。3.如权利要求1所述的方法，其特征在于，所述根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，包括：基于所述障碍物信息通过卡尔曼滤波对障碍物进行追踪，确定所述障碍物的类别信息和位置信息；根据所述类别信息和所述位置信息，确定避障策略。4.如权利要求1所述的方法，其特征在于，所述避障策略包括第一避障策略和第二避障策略，所述根据所述类别信息和所述位置信息，确定避障策略，包括：判断所述类别信息是否为预设类别；若所述类别信息为预设类别，则确定所述避障策略为第一避障策略；若所述类别信息不为预设类别，则判断所述位置信息是否小于预设距离；若所述位置信息小于预设距离，则确定所述避障策略为第一避障策略；若所述位置信息不小于预设距离，则确定所述避障策略为第二避障策略，其中，所述第一避障策略的避障紧急等级高于所述第二避障策略的避障紧急等级。5.如权利要求1所述的方法，其特征在于，所述将所述图像数据通过目标网络模型进行目标检测，得到检测结果，包括：调用depthai接口和openvino接口，加载出blob格式的目标检测模型；将所述图像数据通过blob格式的目标检测模型进行目标检测，得到检测结果。6.如权利要求5所述的方法，其特征在于，所述调用depthai接口和openvino接口，加载出blob格式的目标检测模型之前，还包括：在GPU上训练初始模型得到目标检测模型；通过openvino平台将所述目标检测模型中的权重值进行转换，得到blob格式的目标检测模型。7.如权利要求6所述的方法，其特征在于，所述通过所述openvino平台将所述目标检测模型中的权重值进行转换，得到blob格式的目标检测模型，包括：通过所述openvino平台将所述目标检测模型中的权重值依次通过weight转化、pb转换、bin+xml转换以及blob转换，得到blob格式的目标检测模型。2CN115240164A权利要求书2/2页8.一种叉车避障装置，其特征在于，所述叉车避障装置包括：确定单元，用于在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；获取单元，用于通过智能深度相机获取点云信息；所述确定单元，用于基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；所述确定单元，用于根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。9.一种叉车，其特征在于，所述叉车包括：存储器、处理器及存储在所述存储器上并可