基于多视点图像的结构物表观全景图矫正拼接方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109993696A(43)申请公布日2019.07.09(21)申请号201910199869.6(22)申请日2019.03.15(71)申请人广州愿托科技有限公司地址511458广东省广州市南沙区丰泽东路106号（自编1号楼）X1301-C2341(72)发明人祝志恒傅金阳赵炼恒但汉成阳军生巢凌彦(74)专利代理机构北京知呱呱知识产权代理有限公司11577代理人丁彦峰贺亚明(51)Int.Cl.G06T3/40(2006.01)G06T7/33(2017.01)G06T17/00(2006.01)权利要求书3页说明书8页附图5页(54)发明名称基于多视点图像的结构物表观全景图矫正拼接方法(57)摘要基于多视点图像的结构物表观全景图矫正拼接方法，通过多视点方式对目标结构物表面进行影像拍摄，三维重建形成三维重建点云；根据目标结构物外形轮廓，构建经线参数方程和纬线参数方程，使用经线沿纬线扫掠的方式构建出目标结构物表面的三维模型曲面；对三维重建点云和三维模型曲面进行相对位置关系估计；以纬线坐标作为全景图的横坐标，经线坐标作为全景图的纵坐标，根据经线及纬线交点的空间坐标在三维重建相机中的虚拟投影构建影像照片的像素点与矫正后的全景图坐标的对应关系，采用对应关系将影像照片矫正至全景图拼接平面；对矫正后的图像集拼接融合，生成表观全景图。实现结构物非平表面图像的无缝拼接并保持表面物体几何特征的可测量性。CN109993696ACN109993696A权利要求书1/3页1.基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，包括以下步骤：1)通过多视点方式对目标结构物表面进行影像拍摄，获取目标结构物的全覆盖及具有重叠的影像照片；2)对所述影像照片进行三维重建形成三维重建点云；3)根据所述目标结构物的外形轮廓，构建经线参数方程和纬线参数方程，使用经线沿纬线扫掠的方式构建出所述目标结构物表面的三维模型曲面；4)对所述三维重建点云和目标结构物表面的三维模型曲面进行相对位置关系估计；5)以纬线坐标作为全景图的横坐标，经线坐标作为全景图的纵坐标，根据经线及纬线交点的空间坐标在三维重建相机中的虚拟投影构建所述影像照片的像素点与矫正后的全景图坐标的对应关系，并采用所述对应关系将所述影像照片矫正至全景图拼接平面；6)对矫正后的图像集进行拼接融合，生成结构物表观全景图。2.根据权利要求1所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，所述影像照片的三维重建结果包含下列信息：1)目标场景的三维重建点云C：Ci(xi,yi,zi)∈C,i∈[1,n]2)影像照片拍摄相机的投影方程：Pj＝Kj·(Rj|tj),j∈[1,m]3)影像照片拍摄相机的镜头畸变函数：(x′,y′,1)＝Distj(x,y,1),j∈[1,m]其中n表示重建出的三维点数目，m表示影像照片的数目；(x,y)表示畸变矫正前的坐标，(x′,y′)表示畸变矫正后的坐标，Pj表示第j号相机的投影矩阵，Kj表示第j号相机的内参矩阵，Rj|tj表示第j号相机外参矩阵，Rj为旋转分量，tj为平移分量；Distj为第j号相机的镜头畸变方程，镜头畸变方程描述方式为：222其中，κ1，κ2，κ3，κ4，κ5和κ6表示径向畸变系数，p1和p2表示切向畸变系数，r＝x+y。3.根据权利要求1所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，通过目标结构物外形构建经线参数方程J(η)和纬线参数方程W(ξ)，然后使用经线沿纬线扫掠的方式构建出结构物表面三维模型曲面；设经线纬线构建起直角坐标系ξOη，将经线纬线坐标(ξ,η)作为拼接平面的坐标；经线参数方程J(η)和纬线参数方程W(ξ)的形式如下：通过扫掠方式构建目标结构物表面三维模型曲面的空间坐标(x,y,z)与矫正拼接平面坐标(ξ,η)具有如下关系，即扫掠方式为：2CN109993696A权利要求书2/3页将目标结构物表面三维模型曲面作为影像照片矫正的参考投影面，将所述三维模型曲面离散成r行l列的网格，得到结构物表面的三维模型点云M：Mk(xk,yk,zk)∈M,k∈[1,r×l]。4.根据权利要求3所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，对影像照片进行矫正前，使用优化算法求解一组变换关系s·T，使得三维重建点云C和目标结构物表面三维模型点云M具有最高的重叠度，即：其中，s表示比例因子，T为3×3的刚体变换矩阵，表示变换后的重建点，表示点到模型M的距离：5.根据权利要求1所述的基于多视点图像的结构物表观全景图矫正拼接方法，其特征在于，影像照片像素点坐标(u,v)与矫正后的全景图拼接平面坐标(ξ,η)的对应关系为：其中，Distj和P