恢复从阵列相机获得的图像的方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115049548A(43)申请公布日2022.09.13(21)申请号202110782742.4H04N5/232(2006.01)(22)申请日2021.07.12(30)优先权数据10-2021-00257242021.02.25KR(71)申请人三星电子株式会社地址韩国京畿道水原市(72)发明人李世镐李硕南东暻(74)专利代理机构北京铭硕知识产权代理有限公司11286专利代理师黄晓燕张川绪(51)Int.Cl.G06T5/00(2006.01)G06T5/50(2006.01)G06T3/40(2006.01)H04N5/225(2006.01)权利要求书2页说明书13页附图8页(54)发明名称恢复从阵列相机获得的图像的方法和装置(57)摘要提供了恢复从阵列相机获得的图像的方法和装置，所述方法包括：通过包括在阵列相机中的镜头元件获得多个图像，获得所述多个图像的全局参数，通过基于获得的全局参数对所述多个图像中的每个图像的视点进行变换来生成第一处理图像，获得每个第一处理图像的每个像素的局部参数，通过基于获得的局部参数对第一处理图像进行变换来生成第二处理图像，以及基于合成第二处理图像来生成目标视点的合成图像。CN115049548ACN115049548A权利要求书1/2页1.一种恢复通过阵列相机获得的图像的图像恢复方法，所述图像恢复方法包括：通过包括在阵列相机中的镜头元件获得多个图像；获得所述多个图像的全局参数；通过基于获得的全局参数对所述多个图像中的每个图像的视点进行变换来生成第一处理图像；获得每个第一处理图像的每个像素的局部参数；通过基于获得的局部参数对第一处理图像进行变换来生成第二处理图像；以及基于合成第二处理图像来生成目标视点的合成图像。2.如权利要求1所述的图像恢复方法，其中，获得所述全局参数的步骤包括：基于接收获得的所述多个图像作为输入的神经网络模型来获得所述全局参数。3.如权利要求2所述的图像恢复方法，其中，获得所述全局参数的步骤包括：获得包括在投影矩阵中的矩阵元素。4.如权利要求1所述的图像恢复方法，其中，获得所述全局参数的步骤包括：基于由阵列相机获得的场景的深度值，获得所述全局参数。5.如权利要求1所述的图像恢复方法，其中，生成目标视点的合成图像的步骤包括：通过对第二处理图像的像素进行组合来生成具有比第二处理图像的分辨率高的分辨率的合成图像。6.如权利要求5所述的图像恢复方法，其中，生成目标视点的合成图像的步骤包括：基于像素混洗从第二处理图像生成所述合成图像。7.如权利要求1所述的图像恢复方法，还包括：将获得的所述多个图像分别变换为多个高分辨率图像，其中，获得所述全局参数的步骤包括：基于接收所述多个高分辨率图像作为输入的神经网络模型来获得所述全局参数。8.如权利要求1至权利要求7中的任意一项所述的图像恢复方法，其中，获得所述局部参数的步骤包括：基于接收第一处理图像作为输入的神经网络模型来获得每个第一处理图像的每个像素的像素位置的偏移值。9.如权利要求8所述的图像恢复方法，其中，生成第二处理图像的步骤包括：通过基于所述偏移值对每个第一处理图像的每个像素执行图像变换来生成第二处理图像。10.如权利要求1至权利要求7中的任意一项所述的图像恢复方法，其中，生成第一处理图像的步骤包括：基于所述全局参数将获得的所述多个图像扭曲为具有所述目标视点的第一处理图像。11.如权利要求1至权利要求7中的任意一项所述的图像恢复方法，其中，阵列相机的镜头元件被设置在同一平面上并且彼此间隔相同的距离。12.如权利要求1至权利要求7中的任意一项所述的图像恢复方法，其中，通过镜头元件获得的所述多个图像是分别与不同视点对应的多个视点图像。13.一种存储指令的非暂时性计算机可读存储介质，所述指令能够由处理器执行，以执行如权利要求1至权利要求12中的任意一项所述的图像恢复方法。2CN115049548A权利要求书2/2页14.一种图像恢复装置，包括：处理器；以及存储器，被配置为在其中存储将由处理器执行的指令，其中，处理器被配置为：接收与多个视点对应的多个图像，获得所述多个图像的全局参数，通过基于获得的全局参数对所述多个图像的视点进行变换来生成第一处理图像，获得每个第一处理图像的每个像素的局部参数，通过基于获得的局部参数对第一处理图像进行变换来生成第二处理图像，以及通过合成第二处理图像来生成目标视点的合成图像。15.如权利要求14所述的图像恢复装置，其中，处理器还被配置为：基于接收获得的所述多个图像作为输入的神经网络模型来获得所述全局参数。16.如权利要求14所述的图像恢复装置，其中，处理器还被配置为：基于接收第一处理图像作为输入的神经网络模型来获得每个第一处理图像的每个像素的像