利用可驾驶区域检测来导航的方法和系统以及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115729228A(43)申请公布日2023.03.03(21)申请号202111563315.3(22)申请日2021.12.20(30)优先权数据17/459,0962021.08.27US(71)申请人动态AD有限责任公司地址美国马萨诸塞州(72)发明人钟庄杰乌宁(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277专利代理师刘新宇(51)Int.Cl.G05D1/02(2020.01)权利要求书2页说明书17页附图11页(54)发明名称利用可驾驶区域检测来导航的方法和系统以及存储介质(57)摘要本公开涉及一种利用可驾驶区域检测来导航的方法和系统以及存储介质。随附的是利用可驾驶区域检测来导航的实施例。在实施例中，方法包括：从深度传感器接收点云，从照相机接收图像数据；通过对图像数据应用机器学习来预测指示可驾驶区域的至少一个标签；使用至少一个标签来标注点云；获得里程计信息；通过将标注的点云和里程计信息配准到参考坐标系，来生成可驾驶区域；以及控制运载工具以在可驾驶区域内驾驶。CN115729228ACN115729228A权利要求书1/2页1.一种利用可驾驶区域检测来导航的方法，包括：利用至少一个处理器从深度传感器接收点云；利用所述至少一个处理器从照相机接收图像数据；利用所述至少一个处理器，通过对所述图像数据应用机器学习来预测指示可驾驶区域的至少一个标签；利用所述至少一个处理器，使用所述至少一个标签来标注所述点云；利用所述至少一个处理器获得里程计信息；利用所述至少一个处理器，通过将标注的点云和所述里程计信息配准到参考坐标系，来生成可驾驶区域；以及利用所述至少一个处理器控制运载工具以在所述可驾驶区域内驾驶。2.根据权利要求1所述的方法，其中，所述机器学习包括基于像素的图像分割。3.根据权利要求1所述的方法，其中，标注所述点云包括使用针孔投影将所述点云中的点投影到所述图像数据上。4.根据权利要求1所述的方法，其中，所述里程计信息是从至少一个惯性传感器所提供的运动数据和轮速传感器所提供的轮速获得的。5.根据权利要求1所述的方法，其中，控制所述运载工具以在所述可驾驶区域内驾驶包括：利用第一运载工具控制模型，基于第一空间约束和速度约束来生成所述运载工具的第一轨迹；利用第二运载工具控制模型，基于第二空间约束来生成所述运载工具的第二轨迹，其中所述第二空间约束是可驾驶区域；以及由运载工具控制器来为所述可驾驶区域内的所述运载工具选择所述第一轨迹和所述第二轨迹其中之一。6.根据权利要求5所述的方法，其中，所述第一空间约束和所述速度约束是基于根据规划路线、地图数据和感知数据而生成的机动动作定义而生成的。7.根据权利要求6所述的方法，其中，所述感知数据包括至少一个对象检测。8.根据权利要求5所述的方法，其中，所述第一运载工具控制模型和所述第二运载工具控制模型其中至少之一是模型预测控制模型即MPC模型。9.根据权利要求5所述的方法，其中，所述第二轨迹是通过使跟踪约束和舒适性约束的代价函数最小化而生成的。10.根据权利要求5所述的方法，其中，所述第二运载工具控制模型是运动学自行车模型。11.根据权利要求1所述的方法，其中，所述至少一个标签的第一标签是预测的可驾驶区域，以及所述至少一个标签的第二标签是至少一个对象。12.根据权利要求11所述的方法，其中，所述至少一个对象是另一运载工具或行人。13.一种利用可驾驶区域检测来导航的系统，包括：至少一个处理器；以及一个或多个存储器，其存储有指令，所述指令在由所述至少一个处理器执行时，使所述至少一个处理器进行操作，所述操作包括：2CN115729228A权利要求书2/2页从深度传感器接收点云；从照相机接收图像数据；通过对所述图像数据应用机器学习来预测指示可驾驶区域的至少一个标签；使用所述至少一个标签来标注所述点云；获得里程计信息；通过将标注的点云和所述里程计信息配准到参考坐标系来生成可驾驶区域；以及控制运载工具以在所述可驾驶区域内驾驶。14.根据权利要求13所述的系统，其中，所述机器学习包括基于像素的图像分割。15.根据权利要求13所述的系统，其中，标注所述点云包括使用针孔投影将所述点云中的点投影到所述图像数据上。16.根据权利要求13所述的系统，其中，所述里程计信息是从至少一个惯性传感器所提供的运动数据和轮速传感器所提供的轮速获得的。17.根据权利要求13所述的系统，其中，控制所述运载工具以在所述可驾驶区域内驾驶包括：利用第一运载工具控制模型，基于第一空间约束和速度约束来生成所述运载工具的第一轨迹；利用第二运载工具控制模型，基于第二空间约束来生成所述运载工具的第二轨迹，其中所述第二空间约束是可驾驶区域；以及由运载工具控制器来为所述可