用于运载工具的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113970924A(43)申请公布日2022.01.25(21)申请号202110823285.9G06V10/764(2022.01)(22)申请日2021.07.21G06V10/82(2022.01)G06K9/62(2022.01)(30)优先权数据G06N3/04(2006.01)16/936,4152020.07.22USG06N3/08(2006.01)(71)申请人动态AD有限责任公司地址美国马萨诸塞州(72)发明人袁东贤O·O·贝基波姆V·K·R·班基蒂(74)专利代理机构北京林达刘知识产权代理事务所(普通合伙)11277代理人刘新宇(51)Int.Cl.G05D1/02(2020.01)G06V20/56(2022.01)G06V10/44(2022.01)权利要求书2页说明书16页附图17页(54)发明名称用于运载工具的方法和系统(57)摘要本申请涉及用于运载工具的方法和系统。提供用于来自图像语义网络的单目3D对象检测的技术。图像语义网络(ISN)是基于单帧检测器(SSD)的单阶段的单图像对象检测网络。在实施例中，ISN增强SSD输出以提供对象的编码3D属性连同2D边界框和分类分值。针对每个预选框，使用预选框的尺寸和位置、编码3D属性和照相机内参数来生成对象的3D边界框。CN113970924ACN113970924A权利要求书1/2页1.一种用于运载工具的方法，包括：使用运载工具的一个或多个处理器从所述运载工具的照相机接收图像；使用以所述图像作为输入的对象检测网络，生成包含所述图像中检测到的对象的二维边界框即2D边界框以及针对各对象检测的相应分类分值；针对与每个2D边界框相关联的各对象：使用所述一个或多个处理器生成所述对象的编码三维属性即编码3D属性；使用预选框、所述编码3D属性和照相机内参数生成该对象的3D边界框；至少部分地使用所生成的3D边界框来计算所述运载工具的路线或轨迹；以及使用所述运载工具的控制器使所述运载工具沿着所述路线或轨迹行进。2.根据权利要求1所述的方法，其中，所述对象检测网络是单阶段的单图像对象检测网络。3.根据权利要求1所述的方法，其中，所述对象检测网络是具有单帧检测器的图像语义网络。4.根据权利要求1所述的方法，其中，所述编码3D属性包括尺寸、径向距离、视角和中心投影偏移。5.根据权利要求1所述的方法，其中，使用所述一个或多个处理器生成所述对象的编码三维属性即编码3D属性还包括：针对每个预选框，估计参数向量，所述参数向量包括距所述预选框的底部中心的一组偏移、所述对象的宽度、长度和高度、从所述照相机的中心到所述对象的中心的径向距离、和视角。6.根据权利要求1所述的方法，其中，所述对象检测网络输出包括分类、2D定位、尺寸、定向、径向距离和中心投影的六组参数，并且所述方法还包括：单独计算每组参数的损失函数；以及使用所述损失函数来训练所述对象检测网络。7.一种用于运载工具的系统，包括：一个或多个传感器；一个或多个处理器；存储指令的存储器，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：从运载工具的照相机接收图像；使用以所述图像作为输入的对象检测网络，生成包含所述图像中检测到的对象的二维边界框即2D边界框以及针对各对象检测的相应分类分值；针对与每个2D边界框相关联的各对象：生成所述对象的编码三维属性即编码3D属性；使用预选框、所述编码3D属性和照相机内参数生成该对象的3D边界框；至少部分地使用所生成的3D边界框来计算所述运载工具的路线或轨迹；以及使用所述运载工具的控制器使所述运载工具沿着所述路线或轨迹行进。8.根据权利要求7所述的系统，其中，所述对象检测网络是单阶段的单图像对象检测网络。9.根据权利要求7所述的系统，其中，所述对象检测网络是具有单帧检测器的图像语义2CN113970924A权利要求书2/2页网络。10.根据权利要求7所述的系统，其中，所述编码3D属性包括尺寸、径向距离、视角和中心投影偏移。11.根据权利要求7所述的系统，其中，生成所述对象的编码三维属性即编码3D属性还包括：针对每个预选框，估计参数向量，所述参数向量包括距所述预选框的底部中心的一组偏移、所述对象的宽度、长度和高度、从所述照相机的中心到所述对象的中心的径向距离、和视角。12.根据权利要求7所述的系统，其中，所述对象检测网络输出包括分类、2D定位、尺寸、定向、径向距离和中心投影的六组参数，并且所述操作还包括：单独计算每组参数的损失函数；以及使用所述损失函数来训练所述对象检测网络。3CN113970924A说明书1/16页用于运载工具的方法和系统技术领域[0001]下面的说明书一般涉及用于自主运载工具的感