一种车载环视系统的环视图拼接方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111435540A(43)申请公布日2020.07.21(21)申请号201910037297.1(22)申请日2019.01.15(71)申请人苏州沃迈智能科技有限公司地址215000江苏省苏州市常熟市东南街道云深路2号(72)发明人邵玄刘潇张林(74)专利代理机构上海科盛知识产权代理有限公司31225代理人宣慧兰(51)Int.Cl.G06T7/80(2017.01)G06T3/40(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种车载环视系统的环视图拼接方法(57)摘要本发明涉及一种车载环视系统的环视图拼接方法，包括：1、对车载环视系统的每个相机进行内参标定；2、以其中一个相机的坐标系作为参考坐标系，将其他相机的坐标系和相邻相机的公共角点变换到参考坐标系下，得到相机位姿；3、建立地面坐标系；4、根据环视图像各部分与相机之间的对应关系、环视图像与地面坐标系之间的变换关系、相机与地面坐标系之间的变换矩阵以及相机的内参矩阵和畸变参数，求出环视图像各像素与每个相机采集的图像的对应关系，并建立查找表，通过查找表拼接环视图像。与现有技术相比，本发明对场景环境要求低，能够根据相机的公共视野和闭环关系优化求解位姿，具有低成本、高灵活性、高精度等优点。CN111435540ACN111435540A权利要求书1/2页1.一种车载环视系统的环视图拼接方法，所述车载环视系统包括设置在车辆周围的多个相机，其特征在于，该方法包括以下步骤：S1、对车载环视系统的每个相机进行内参标定，得到相机的内参矩阵和畸变参数；S2、以其中一个相机的坐标系作为参考坐标系，根据相邻相机之间的变换矩阵将其他相机的坐标系和相邻相机的公共角点变换到参考坐标系下，根据环视相机系统中相机位姿的闭环关系通过优化方法得到相机位姿；S3、求出地面所在的平面在参考坐标系下的表达式，根据各个相机中心在参考坐标系下的坐标设定地面坐标系的原点、X轴、Y轴和Z轴，得到地面坐标系；S4、通过车载环视系统获得环视图像，将环视图像分成分别与每个相机对应的多个部分，根据环视图像各部分与相机之间的对应关系、环视图像与地面坐标系之间的变换关系、相机与地面坐标系之间的变换矩阵以及相机的内参矩阵和畸变参数，求出环视图像各像素与每个相机采集的图像的对应关系，并建立查找表，通过查找表拼接环视图像。2.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S1具体包括：S11、使用车载环视系统的每个相机分别采集若干张棋盘格标定板图像；S12、检测标定板图像中的棋盘格角点；S13、根据检测到的棋盘格角点求出相机的内参矩阵和畸变参数。3.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S2中相邻相机之间的变换矩阵的获取方法包括：将标定板分别置于相邻两个相机的公共视野区域，采集成对的标定图像；检测成对的标定图像中的棋盘格角点，并确定两张图像中角点之间的一一对应关系，得到棋盘格角点对；根据棋盘格角点对求出相邻相机之间的旋转矩阵和平移向量，将二者合并为变换矩阵。4.根据权利要求3所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S2中相邻相机的公共角点变换到参考坐标系下的过程具体包括：使用三角化方法求出相邻两个相机的棋盘格角点对中公共角点的三维坐标，变换到参考坐标系下。5.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述通过优化方法得到相机位姿包括：通过光束法平差同时优化相机位姿和三维点坐标，得到优化后的相机位姿。6.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S3具体包括：S31、将标定板依次置于四个摄像头视野内的地面上，并采集图像；S32、检测步骤S31采集的图像中的棋盘格角点，并根据步骤S2求出的相机位姿求出棋盘格角点在参考坐标系下的三维坐标；S33、根据步骤S32得到的棋盘格角点的三维坐标拟合出地面所在的平面在参考坐标系下的表达式；S34、根据相机位姿求出每个相机中心在参考坐标系下的坐标，将所有相机中心的坐标取平均作为环视相机系统的中心点的坐标，将中心点投影到步骤S33得到的地面所在的平面上，将该投影点作为地面坐标系的原点；2CN111435540A权利要求书2/2页S35、将前视相机的中心投影到地面所在的平面上得到前视相机投影点，将地面坐标系的原点指向前视相机投影点的向量作为地面坐标系的Y轴方向向量，将与Y轴方向向量垂直并处在地面所在的平面上的向量作为地面坐标系的X轴方向向量，将X轴方向向量和Y轴方向向量做外积，求得Z轴方向向量；S36、根据得到的地面坐标系的原点、X轴方向向量、Y轴方向向量和Z轴方向向量确定