一种光场相机的合成孔径去遮挡方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107403423A(43)申请公布日2017.11.28(21)申请号201710653078.7(22)申请日2017.08.02(71)申请人清华大学深圳研究生院地址518055广东省深圳市南山区西丽大学城清华校区(72)发明人金欣张恒戴琼海(74)专利代理机构深圳新创友知识产权代理有限公司44223代理人方艳平(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2006.01)权利要求书3页说明书6页附图1页(54)发明名称一种光场相机的合成孔径去遮挡方法(57)摘要本发明公开了一种光场相机的合成孔径去遮挡方法，包括：根据输入的光场信息，得到所有子孔径图像；检测所有子孔径图像的特征点；在中心视角图像上选择一块区域，保留所选区域内的特征点，舍弃所选区域外的特征点，其中所选区域内包含有遮挡物和被遮挡的目标平面上的物体；对前一步骤得到的特征点和其余视角图像的特征点进行匹配，筛选得到特征点对；通过筛选出的特征点对来计算中心视角图像和其余视角图像的单映性变换矩阵；通过单映性变换矩阵对其余视角图像进行映射；对所有映射后的子孔径图像取平均，得到最终的子孔径合成图像。本发明能够去除镜头前小尺寸遮挡物，从而获得遮挡物后方的信息。CN107403423ACN107403423A权利要求书1/3页1.一种光场相机的合成孔径去遮挡方法，其特征在于，包括以下步骤：A1：根据输入的光场信息，得到所有子孔径图像，所有子孔径图像包括中心视角图像和其余视角图像；A2：检测所有子孔径图像的特征点；A3：在所述中心视角图像上选择一块区域，保留所选区域内的特征点，舍弃所选区域外的特征点，其中所选区域内包含有遮挡物和被遮挡的目标平面上的物体；A5：对前一步骤得到的特征点和其余视角图像的特征点进行匹配，筛选得到特征点对；A6：通过筛选出的特征点对来计算中心视角图像和其余视角图像的单映性变换矩阵；A7：通过单映性变换矩阵对其余视角图像进行映射；A8：对所有映射后的子孔径图像取平均，得到最终的子孔径合成图像。2.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A3中所选区域内的在目标平面上的特征点的数量大于在遮挡物上的特征点的数量。3.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A1还包括：计算所述中心视角图像的深度信息；在步骤A3和步骤A5之间还包括步骤A4：结合所述中心视角图像的深度信息，根据预设条件对于步骤A3中所选区域内的特征点进行筛选。4.根据权利要求3所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A4中具体包括：A42：计算步骤A3中得到的所有特征点的平均深度：其中，N为步骤A3中保留的特征点的数量，depi表示第i个特征点的深度，average为步骤A3中保留的特征点的平均深度；A43：计算步骤A3中得到的所有特征点的深度的标准差：其中，σ为步骤A3中保留的特征点的深度的标准差；A44：利用下述预设条件来筛选出满足要求的特征点：|depi-average|＜σ(4)其中满足式(4)的特征点将会被保留，不满足的将被舍弃。5.根据权利要求4所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A4还包括：A41：计算步骤A3中得到的所有特征点中坐标不在整数像素上的特征点的深度：f(i+m,j+n)＝(1-m)(1-n)f(i,j)+(1-m)nf(i,j+1)+m(1-n)f(i+1,j)+mnf(i+1,j+1)(1)其中，f(i+m,j+n)为特征点的坐标，f(i,j)、f(i+1,j)、f(i,j+1)和f(i+1,j+1)是特征点周围四个像素点的深度值，(m,n)是特征点坐标相对于整数坐标点的偏移。6.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A5具体2CN107403423A权利要求书2/3页为：利用欧氏距离作为代价函数，并运用互为最近点的原则对前一步骤得到的特征点和其余视角图像的特征点进行匹配，并利用代价函数阈值筛选出特征点对。7.根据权利要求5所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A5具体包括：A51：对于前一步骤得到的所有特征点，运用下式在其余视角图像viewu,v的特征点中挑选特征点的最近点：22P(i)＝argmin{(xi-x'j)+(yi-y'j)}(5)其中，(xi,yi)为前一步骤得到的第i个特征点的坐标，(x'j,y'j)为其余视角图像viewu,v的第j个特征点的坐标，P(i)为前一步骤得到的第i个特征点在其余视角图像viewu,v中挑选出的最近点的序号；A52：对于其余视角图像viewu,v的所有特征点，运用下式在前一步骤得到的特征点中挑选特征