一种基于卫星地图的无人机虚拟观测图像生成及定位方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012377A(43)申请公布日2023.04.25(21)申请号202310293190.XG06T3/60(2006.01)(22)申请日2023.03.24G06T17/05(2011.01)(71)申请人四川腾盾科技有限公司地址610000四川省成都市金牛高新技术产业园区金科东路50号7栋1层101号(72)发明人梁文斌陈志傲刘阳祝宇杨基宏(74)专利代理机构成都九鼎天元知识产权代理有限公司51214专利代理师张洋(51)Int.Cl.G06T7/00(2017.01)G01S19/42(2010.01)G06T7/73(2017.01)G06V20/17(2022.01)权利要求书3页说明书11页附图3页(54)发明名称一种基于卫星地图的无人机虚拟观测图像生成及定位方法(57)摘要本发明公开了一种基于卫星地图的无人机虚拟观测图像生成及定位方法，涉及无人机图像生成和定位领域，包括：首先基于无人机惯导发送的无人机姿态信息，通过插值和坐标系变换，得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵；然后构造虚拟相机，最后将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上，并读取像素点对应的卫星地图像素值，生成虚拟观测图像，并根据虚拟观测图像完成无人机定位；本发明，在无人机在大滚转、俯仰角和相机畸变参数较大的情况下，用卫星地图精确模拟出了虚拟观测图像，提高了虚拟观测图像和实际观测图像的特征匹配数量，提高了视觉定位精度。CN116012377ACN116012377A权利要求书1/3页1.一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，包括：步骤S1：基于无人机惯导发送的无人机姿态信息，通过插值和坐标系变换，得到在观测相机拍摄图像时刻的观测相机三轴姿态角矩阵；步骤S2：构造虚拟相机，所述虚拟相机的像平面是一幅长宽自定义的局部卫星地图；步骤S3：将观测相机拍摄的观测图像中的像素点逐一投影到卫星地图上，并读取像素点对应的卫星地图像素值，生成虚拟观测图像。2.根据权利要求1所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S1，包括：步骤S11：基于无人机惯导发送的无人机姿态信息，通过插值得到在观测相机拍摄图像时刻的无人机姿态信息；步骤S12：通过无人机机体坐标系与观测相机坐标系的变换关系，将步骤S11中得到的无人机姿态信息变换成观测相机三轴姿态角矩阵。3.根据权利要求2所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S11，包括：通过惯导时间戳相邻的两个惯导数据，插值出观测相机拍摄图像时刻的无人机姿态信息。4.根据权利要求3所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述插值出观测相机拍摄图像时刻的无人机姿态信息，包括：其中：表示观测相机拍摄图像时刻的惯导时间戳；表示时刻的惯导时间戳；表示时刻的惯导时间戳；表示时刻无人机三轴姿态角；表示时刻无人机惯导姿态角对应的旋转矩阵；表示时刻无人机惯导姿态角对应的旋转矩阵；函数表示将旋转矩阵变换为与之对应的三轴姿态角三维向量。5.根据权利要求4所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S2，包括：根据假定的虚拟相机距离地面的高度、虚拟相机的像原大小、局部卫星地图的像素长、像素宽，获取虚拟相机内参；所述虚拟相机内参，包括：横向焦距、纵向焦距、像平面中心点的横纵像素坐标和。2CN116012377A权利要求书2/3页6.根据权利要求5所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S3，包括：步骤S31：在虚拟相机坐标系下，计算观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；步骤S32：由观测相机三轴姿态角矩阵，构造出观测相机坐标系相对于虚拟相机坐标系的旋转矩阵；步骤S33：创建一幅与观测图像尺寸相同的图像作为虚拟观测图像的容器，将观测图像的每个像素点坐标，通过变换投影到图像上，并读取在卫星地图上像素点坐标对应的像素值，填充到图像上，生成虚拟观测图像。7.根据权利要求6所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S31，包括：其中：、表示观测相机中心到虚拟相机中心在虚拟相机深度归一化平面上的平移值；、表示观测相机中心竖直投影到虚拟相机像平面上的像素点坐标。8.根据权利要求7所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S32，包括：其中：表示观测相机坐标系相对于虚拟相机坐标系的旋转矩阵；表示无人机机体坐标系相对于观测相机坐标系的旋转矩阵。9.根据权利要求8所述的一种基于卫星地图的无人机虚拟观测图像生成方法，其特征在于，所述步骤S33