一种基于卷积神经网络的光场图像去噪方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112308085A(43)申请公布日2021.02.02(21)申请号202011144012.3(22)申请日2020.10.23(71)申请人宁波大学地址315211浙江省宁波市江北区风华路818号(72)发明人蒋刚毅陈晔曜郁梅(74)专利代理机构宁波奥圣专利代理有限公司33226代理人周珏(51)Int.Cl.G06K9/40(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书6页说明书19页附图6页(54)发明名称一种基于卷积神经网络的光场图像去噪方法(57)摘要本发明公开了一种基于卷积神经网络的光场图像去噪方法，其首先将4D光场图像分别重组为子孔径图像和微透镜阵列图像；之后构建初始堆栈空间卷积块和初始角度卷积块以分别对子孔径图像和微透镜阵列图像提取空间特征和角度特征；然后引入空间角度联合编码器组来建模空间特征和角度特征间的信息补偿关系并提高特征的表达能力；基于提取的空间特征和角度特征，构建空间角度特征融合器组以充分利用特征来丰富重建去噪光场图像的细节信息；最后利用构建的解码器来将空间角度特征融合器组输出的融合特征重建为去噪光场图像；优点是有效去除光场图像中存在的噪声，并能够重建去噪光场图像的纹理信息以及保留去噪光场图像的结构一致性。CN112308085ACN112308085A权利要求书1/6页1.一种基于卷积神经网络的光场图像去噪方法，其特征在于包括以下步骤：步骤一：选取Num幅空间分辨率为W×H且角度分辨率U×V的噪声光场图像及对应的Num幅参考无噪光场图像；然后将每幅噪声光场图像重组为U×V幅单通道的宽度为W且高度为H的噪声子孔径图像，并将每幅噪声光场图像重组为一幅单通道的宽度为U×W且高度为V×H的噪声微透镜阵列图像；再将Num幅噪声光场图像、对应的Num幅参考无噪光场图像、对应的Num×U×V幅噪声子孔径图像、对应的Num幅噪声微透镜阵列图像构成训练集；其中，Num＞1；步骤二：构建一个卷积神经网络，作为空间角度联合编码网络：空间角度联合编码网络包括用于提取光场图像空间特征的初始堆栈空间卷积块、用于提取光场图像角度特征的初始角度卷积块、用于联合处理光场图像空间特征和角度特征并提高特征表达能力的空间角度联合编码器组、用于融合光场图像空间特征和角度特征的空间角度特征融合器组、用于重建目标去噪光场图像的解码器，空间角度联合编码器组由依次连接的第一空间角度联合编码器、第二空间角度联合编码器和第三空间角度联合编码器构成，空间角度特征融合器组由第一空间角度特征融合器、第二空间角度特征融合器和第三空间角度特征融合器构成，解码器由依次连接的第一堆栈空间卷积块、第二堆栈空间卷积块和第三堆栈空间卷积块构成；对于初始堆栈空间卷积块，其由U×V个第一卷积层组成，每个第一卷积层的输入端接收一幅单通道的宽度为W且高度为H的噪声子孔径图像，每个第一卷积层的输出端输出32幅宽度为W且高度为H的空间特征图，将第i个第一卷积层的输出端输出的所有空间特征图构成的集合记为Fs0,i，将初始堆栈空间卷积块输出的所有空间特征图构成的集合记为FS0，FS0＝{Fs0,1,…,Fs0,U×V}；其中，1≤i≤U×V，Fs0,1表示第1个第一卷积层的输出端输出的所有空间特征图构成的集合，Fs0,U×V表示第U×V个第一卷积层的输出端输出的所有空间特征图构成的集合，U×V个第一卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为1、输出通道数均为32、采用的激活函数均为“LeakyReLU”，U×V个第一卷积层共享卷积核的权重参数；对于初始角度卷积块，其由1个第二卷积层组成，第二卷积层的输入端接收一幅单通道的宽度为U×W且高度为V×H的噪声微透镜阵列图像，第二卷积层的输出端输出32幅宽度为W且高度为H的角度特征图，将第二卷积层的输出端输出的所有角度特征图构成的集合记为FA0；其中，第二卷积层的卷积核的尺寸为U×V、水平卷积步长为U、垂直卷积步长为V、输入通道数为1、输出通道数为32、采用的激活函数为“LeakyReLU”；对于空间角度联合编码器组，第一空间角度联合编码器的第一输入端接收FS0中的所有空间特征图，第一空间角度联合编码器的第二输入端接收FA0中的所有角度特征图，第一空间角度联合编码器的第一输出端输出U×V组且每组32幅宽度为W且高度为H的空间特征图，并将第一输出端输出的所有空间特征图构成的集合记为FS1，FS1＝{Fs1,1,…,Fs1,U×V}，第一空间角度联合编码器的第二输出端输出32幅宽度为W且高度为H的角度特征图，将第二输出端输出的所有角度特征图构成的集合记为FA1；第二