鱼眼图像畸变矫正方法、装置和虚拟显示系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112116530A(43)申请公布日2020.12.22(21)申请号201910533932.5(22)申请日2019.06.19(71)申请人杭州海康威视数字技术股份有限公司地址310051浙江省杭州市滨江区阡陌路555号(72)发明人温武超李佳宁宋江新毛慧浦世亮(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人李珂珂(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)权利要求书4页说明书28页附图5页(54)发明名称鱼眼图像畸变矫正方法、装置和虚拟显示系统(57)摘要本公开提供了一种鱼眼图像畸变矫正方法、装置和虚拟显示系统，涉及计算机视觉技术领域。包括：当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；根据第一投影映射关系，将该第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像；将该多个第一虚拟视点图像拼接成该第一图像矫正后的第二图像。通过该多个第一虚拟视点相机可以得到该第一图像矫正后的第二图像。由于该多个第一虚拟视点相机的视域范围覆盖该第一鱼眼相机的视域范围，因此，通过该多个第一虚拟视点相机得到第一图像的矫正图像时，无需截取第一图像中的部分图像，不会减小可利用视域，得到的矫正后的第二图像中，保留的信息更加完整。CN112116530ACN112116530A权利要求书1/4页1.一种鱼眼图像畸变矫正方法，其特征在于，所述方法包括：当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，所述第一投影映射关系用于存储所述第一鱼眼相机的像素位置与每个第一虚拟视点相机的像素位置之间的映射关系，所述多个第一虚拟视点相机组成的视域范围覆盖所述第一鱼眼相机的视域范围；将所述多个第一虚拟视点图像拼接成所述第一图像矫正后的第二图像。2.根据权利要求1所述的方法，其特征在于，所述根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，包括：对于每个第一虚拟视点相机的成像平面中的第一像素点位置，根据所述第一像素点位置和所述第一投影映射关系，确定与所述第一像素点位置对应的第二像素点位置；从所述第一图像中获取所述第二像素点位置对应的像素值，将所述像素值赋予所述第一像素点位置，得到第一虚拟视点图像。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述第一鱼眼相机拍摄的第三图像，以及获取所述多个第一虚拟视点相机拍摄的多个第二虚拟视点图像；根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系；根据所述每个第一虚拟视点相机的第二投影参数，将所述多个第二虚拟视点图像分别映射到所述第一鱼眼相机的三维坐标系中，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系；根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系，包括：对于第三图像中的任一像素点，确定所述像素点的第四像素位置；根据所述畸变参数，对所述第四像素位置进行去畸变处理，得到第五像素位置；根据所述第一投影参数，对所述第五像素位置进行平移，得到所述第四像素位置在所述三维坐标系中对应的第六像素位置；将所述第四像素位置处的像素点投影到所述第六像素位置处，得到所述第一映射关系。5.根据权利要求3所述的方法，其特征在于，所述根据所述每个第一虚拟视点相机的第二投影参数，将所述多个第二虚拟视点图像分别映射到所述第一鱼眼相机的三维坐标系中，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系，包括：确定多个第一虚拟视点相机的旋转矩阵的逆矩阵，得到多个第一逆矩阵，以及根据所2CN112116530A权利要求书2/4页述第二投影参数，确定所述多个第二第一虚拟视点相机的投影模型矩阵的逆矩阵，得到多个第二逆矩阵；对于任一第二虚拟视点图像中的任一像素点，确定所述任一第二虚拟视点图像中的任一像素点的第七像素位置；将所述第七像素位置乘以所述第二虚拟视点图像对应的第一虚拟视点相机的第一逆矩阵和第二逆矩阵，得到所述第七像素位置在所述三维坐标系中对应