图像几何校正方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109801234A(43)申请公布日2019.05.24(21)申请号201811619919.3(22)申请日2018.12.28(71)申请人南京美乐威电子科技有限公司地址211100江苏省南京市江宁开发区胜利路89号3幢14层(72)发明人周强高宏彬(74)专利代理机构江苏致邦律师事务所32230代理人樊文红尹妍(51)Int.Cl.G06T5/00(2006.01)G06T7/40(2017.01)G06T3/40(2006.01)G06N3/08(2006.01)G06N3/04(2006.01)权利要求书2页说明书5页附图1页(54)发明名称图像几何校正方法及装置(57)摘要本发明涉及图像几何校正方法及装置，通过将经过预处理的目标图像组输入经过大量虚拟相机得到的图像组迭代训练的网络模型中即可得到与每幅目标图像对应的透视变换系数，再将预测得到的透视变换系数与对应图像相乘即可得到几何校正后的图像。本发明的方法及装置结合了深度神经网络预测透视变换系数的鲁棒性和精确性，过程中深度学习方法能够给出较为鲁棒的校正，可以更好地校正无纹理场景和含有近景物体的场景的几何校正。此外，这种深度学习方法实际实现中速度也很快，另外由于几何校正仅在相机设置时计算一次，所以不影响全景相机拼接时的处理时间。CN109801234ACN109801234A权利要求书1/2页1.一种图像几何校正方法，其特征在于，包括如下步骤：获取环绕多相机的各个相机的待校正图像，每个相机一幅图像；将获取的多幅待校正图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；将经过预处理的多幅待校正图像输入网络模型中，计算获取各幅图像的透视变换系数；将多幅待校正图像按照与其对应的透视变换系数进行几何透视变换，即得到校正后的图像。2.根据权利要求1所述的一种图像几何校正方法，其特征在于，所述网络模型的训练方法包括：获取虚拟相机生成的图像样本集，及与其中每幅图像对应的透视变换系数；对图像样本集进行预处理；将各组经过预处理的图像样本集输入卷积神经网络中，并输出预测的图像的透视变换系数，根据各组图像样本集计算得到的透视变换系数结果和虚拟相机得到的透视变换系数计算预测误差，并采用有监督的反向传播方法对卷积神经网络进行迭代训练，得到深度学习的网络模型。3.根据权利要求2所述的一种图像几何校正方法，其特征在于，所述输出预测的图像的透视变换系数的方法包括：将各组经过预处理的图像样本集输入卷积神经网络中，通过卷积层对图像进行卷积运算，通过激活函数层对卷积运算结果进行非线性变换，通过池化层对非线性变换结果进行池化操作，通过全连接层对池化操作结果进行线性变换得到多个透视变换系数。4.根据权利要求3所述的一种图像几何校正方法，其特征在于，激活函数层中采用的激活函数为线性整流函数，池化层采用最大池化方式。5.根据权利要求1或2所述的一种图像几何校正方法，其特征在于，所述待校正图像及图像样本集的预处理方法为：将图像缩放至标准尺寸；将获取的标准尺寸的图像中每个像素进行0均值化。6.根据权利要求2所述的一种图像几何校正方法，其特征在于，通过虚拟相机获取图像样本集及与其中每幅图像对应的透视变换系数的步骤包括：使用VR图形引擎模拟多个虚拟相机环绕摆放，系统中设置虚拟相机完全水平等比例排布，虚拟成像场景中包含有景深的物体和纹理，每个虚拟相机单独成像；绕后系统设置每个虚拟相机随机偏转一定的角度、随机前后拉伸，在同一场景中成像，记录下此成像和此时每个相机相对于开始时的正位成像的透视变换系数，即得到一组环绕多虚拟相机图像样本集及对应透视变换系数；重复上述步骤，获取多组图像样本和与其对应的透视变换系数。7.根据权利要求1所述的一种图像几何校正方法，其特征在于，所述校正后的图像的获取方式包括：将每幅图像与其对应的透视变换矩阵相乘，得到经过几何校正的多幅图像。2CN109801234A权利要求书2/2页8.一种图像几何校正装置，其特征在于，包括：环绕多相机图像获取模块，用于获取环绕多相机拍摄的图像，每个相机获取一幅图像；网络模型训练模块，用于训练网络模型；图像预处理模块，连接环绕多相机图像获取模块，用于将获取的图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；透视变换系数计算模块，连接图像预处理模块和网络模型训练模块，用于将经过预处理的多幅图像输入网络模型训练模块输出的网络模型中，计算获取每幅图像对应的透视变换系数；图像校正模块，连接透视变换系数计算模块，用于获取透视变换