基于车轮的目标车辆姿态检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111967360A(43)申请公布日2020.11.20(21)申请号202010784979.1G06N3/08(2006.01)(22)申请日2020.08.06(71)申请人苏州易航远智智能科技有限公司地址215024江苏省苏州市中国（江苏）自由贸易试验区苏州片区苏州工业园区港田路99号港田工业坊1号厂房(72)发明人梁义辉李雪范圣印陈禹行(74)专利代理机构北京庚致知识产权代理事务所(特殊普通合伙)11807代理人李伟波(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06T7/80(2017.01)权利要求书2页说明书12页附图6页(54)发明名称基于车轮的目标车辆姿态检测方法(57)摘要一种基于车轮的目标车辆姿态检测方法，包括：(1)获取当前相机图像；(2)输入获取的所述当前相机图像，对输入图像进行车辆目标检测，得到车辆目标；(3)对所述车辆目标进行车轮检测，得到车轮目标；(4)在车轮目标中提取出两个同侧面车轮；(5)利用所述两个同侧面车轮中心坐标的连线获得车辆的倾角姿态。所述方法无需标注车辆姿态，即可快速实现对车辆转角姿态，在中高速状态和低速状态下的较大范围内均能对目标进行实时精确地姿态检测，非常适于在自动驾驶或辅助驾驶中实际应用。CN111967360ACN111967360A权利要求书1/2页1.一种基于车轮的目标车辆姿态检测方法，其特征在于，包括：步骤1、获取当前相机图像；步骤2、输入获取的所述当前相机图像，对输入图像进行车辆目标检测，得到车辆目标；步骤3、对所述车辆目标进行车轮检测，得到车轮目标；步骤4、在车轮目标中提取出两个同侧面车轮的特征点；步骤5、利用所述两个同侧面车轮特征点坐标的连线获得车辆的倾角姿态。2.根据权利要求1所述的基于车轮的目标车辆姿态检测方法，其特征在于，在获取当前相机图像之前，需要对相机进行标定，包括标定相机内参和外参；相机内参参数矩阵如公式(1)所示：其中，fx，fy分别表示相机在X、Y坐标方向的焦距，px，py表示相机中心点相对于左上角的偏移；相机外参参数矩阵如公式(2)所示：其中，rij(i＝1，2，3；j＝1，2，3)表示相机相对于世界坐标系的旋转矩阵的元素，ti(i＝1，2，3)表示相机坐标系相对于世界坐标系的平移关系；并且，所述相机内参和外参的关系矩阵EM如公式(3)所示：其中，mij(i＝1,2,3；j＝1,2,3,4)表示相机内参和外参组成的参数矩阵的元素。3.根据权利要求1所述的基于车轮的目标车辆姿态检测方法，其特征在于，所述相机包括RGB相机、红外相机或深度相机。4.根据权利要求1所述的基于车轮的目标车辆姿态检测方法，其特征在于，所述相机为安装在车辆前端的摄像头。5.根据权利要求1所述的基于车轮的目标车辆姿态检测方法，其特征在于，采用训练好的深度学习模型进行车辆目标检测，获得车辆目标V的二维框即目标框在图像中的坐标及尺寸(x,y,w,h)，其中(x,y)表示二维框左上角坐标，w、h为二维框尺寸宽和高。6.根据权利要求5所述的基于车轮的目标车辆姿态检测方法，其特征在于，在已经获取到的目标框内进行车轮检测，获得图像中的车轮框，表示为Wi(xi，yi，wi，hi)，其中i＝1，2...N，N表示检测到的车轮数目，其中xi、yi、wi和hi分别表示车轮框的左上角的x坐标、y坐标、车轮框宽度和高度。7.根据权利要求6所述的基于车轮的目标车辆姿态检测方法，其特征在于，首先将相机视野内的车辆目标分为左侧目标和右侧目标，然后分别对左侧车辆和右侧2CN111967360A权利要求书2/2页车辆对车轮进行检测，提取出所需要的两个同侧面车轮框；提取所检测到的车轮框Wi(xi，yi，wi，hi)的特征点像素坐标Pi(ui，vi)，将这些特征点像素坐标转换到世界坐标系中，并获取在世界坐标系里的坐标基于上述过程中获得的车轮的世界坐标，获得车辆的两轮顶部、中心或底部坐标，根据所述两轮的顶部、中心或底部坐标的连线获得车辆的倾角姿态。8.根据权利要求7所述的基于车轮的目标车辆姿态检测方法，其特征在于，使用训练好的深度神经网络模型在车辆目标框里进行车轮检测，检测结果为车轮在图像中的坐标和尺寸Wi(xi，yi，wi，hi)。9.根据权利要求7所述的基于车轮的目标车辆姿态检测方法，其特征在于，车轮的特征点检测使用目标车辆框与对应车辆的分割图，其中分割图基于深度神经网络分割模型获得。10.一种基于车轮的目标车辆姿态检测装置，其特征在于，包括：图像获取装置，获取当前相机图像；车辆目标检测装置，输入获取的所述当前相机图像，对输入图像进行车辆目标检测，得到