基于卷积神经网络的光场角度超分辨率方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108230223A(43)申请公布日2018.06.29(21)申请号201711462902.7(22)申请日2017.12.28(71)申请人清华大学地址100084北京市海淀区清华园(72)发明人刘烨斌吴高昌戴琼海柴天佑(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人张润(51)Int.Cl.G06T1/00(2006.01)G06T5/00(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图3页(54)发明名称基于卷积神经网络的光场角度超分辨率方法及装置(57)摘要本发明公开了一种基于卷积神经网络的光场角度超分辨率方法及装置，其中，方法包括：根据低角度分辨率光场提取多个二维极线平面图；通过一维高斯核函数对多个二维极线平面图的每个极线平面图提取出空间低频信息；并通过双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率；通过卷积神经网络对上采样后的极线平面图重建出角度信息；通过非盲去模糊操作恢复极线平面图的空间高频信息，获取角度超分辨率后的高空间角度分辨率的极线平面图；根据角度超分辨率后的高空间角度分辨率的极线平面图输出高角度分辨率光场。该方法有效利用二维极线平面图的纹理信息，可以提高光场超分辨率的整体精确度，具有很强的鲁棒性。CN108230223ACN108230223A权利要求书1/2页1.一种基于卷积神经网络的光场角度超分辨率方法，其特征在于，包括以下步骤：根据低角度分辨率光场提取多个二维极线平面图；通过一维高斯核函数对所述多个二维极线平面图的每个极线平面图提取出空间低频信息；根据所述每个极线平面图提取出的空间低频信息通过双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率；通过卷积神经网络对上采样后的极线平面图重建出角度信息；通过非盲去模糊操作恢复所述极线平面图的空间高频信息，以获取角度超分辨率后的高空间角度分辨率的极线平面图；以及根据所述角度超分辨率后的高空间角度分辨率的极线平面图输出高角度分辨率光场。2.根据权利要求1所述的基于卷积神经网络的光场角度超分辨率方法，其特征在于，所述一维高斯核函数为：其中，c为核函数的尺度调节参数，σ为核函数的形状调节参数，x为空间坐标，κ为一维高斯卷积核。3.根据权利要求1所述的基于卷积神经网络的光场角度超分辨率方法，其特征在于，所述卷积神经网络为残差网络，且所述卷积神经网络为：f(E′L)＝E′L+R(E′L)，其中，E′L＝(EL*κ)↑为经过高斯核函数κ提取角度低频信息后的极线平面图，R为残差网络。4.根据权利要求1所述的基于卷积神经网络的光场角度超分辨率方法，其特征在于，通过以下公式获取所述角度超分辨率后的高空间角度分辨率的极线平面图：其中，非盲去模糊操作Dκ使用的核函数为一维高斯核函数κ。5.根据权利要求4所述的基于卷积神经网络的光场角度超分辨率方法，其特征在于，所述残差网络包括三层卷积层，第一层层卷积层L1包括64个1×9×9的核，第二层层卷积层L2包括32个64×5×5的核，第三层层卷积层L3包括1个32×5×5的核，每一层后均连接有一个修正线性单元。6.一种基于卷积神经网络的光场角度超分辨率装置，其特征在于，包括：第一提取模块，用于根据低角度分辨率光场提取多个二维极线平面图；第二提取模块，用于通过一维高斯核函数对所述多个二维极线平面图的每个极线平面图提取出空间低频信息；采样模块，用于根据所述每个极线平面图提取出的空间低频信息通过双三次插值方法进行角度维度的上采样，使其达到期望的角度分辨率；重建模块，用于通过卷积神经网络对上采样后的极线平面图重建出角度信息；获取模块，用于通过非盲去模糊操作恢复所述极线平面图的空间高频信息，以获取角度超分辨率后的高空间角度分辨率的极线平面图；以及输出模块，用于根据所述角度超分辨率后的高空间角度分辨率的极线平面图输出高角2CN108230223A权利要求书2/2页度分辨率光场。7.根据权利要求6所述的基于卷积神经网络的光场角度超分辨率装置，其特征在于，所述一维高斯核函数为：其中，c为核函数的尺度调节参数，σ为核函数的形状调节参数，x为空间坐标，κ为一维高斯卷积核。8.根据权利要求6所述的基于卷积神经网络的光场角度超分辨率装置，其特征在于，所述卷积神经网络为残差网络，且所述卷积神经网络为：f(E′L)＝E′L+R(E′L)，其中，EL′＝(EL*κ)↑为经过高斯核函数κ提取角度低频信息后的极线平面图，R为残差网络。9.根据权利要求6所述的基于卷积神经网络的光场角度超分辨率装置，其特征在于，通过以下公式获取所述角度超分辨率后的高空间角度分辨率的极线平面图：其中，非盲去模糊操作Dκ使用的核函