一种基于端到端联合优化的超构透镜消色差方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115857159A(43)申请公布日2023.03.28(21)申请号202211462100.7(22)申请日2022.11.22(71)申请人南京大学地址210046江苏省南京市栖霞区仙林大道163号(72)发明人岳涛李铭胡雪梅(74)专利代理机构江苏法德东恒律师事务所32305专利代理师李媛媛(51)Int.Cl.G02B27/00(2006.01)G02B5/20(2006.01)G02B3/00(2006.01)G06N3/0464(2023.01)G06N3/084(2023.01)权利要求书1页说明书4页附图1页(54)发明名称一种基于端到端联合优化的超构透镜消色差方法(57)摘要本发明公开了一种基于端到端联合优化的超构透镜消色差方法。具体步骤如下：(1)搭建超表面光学成像系统；(2)建立可微的超构透镜成像模型，模拟超表面光学系统的点扩散函数，得到经过超构透镜后被传感器接收的图像；(3)建立用于图像重建的神经网络架构；(4)将可微超构透镜模型和图像重建网络整合为端到端联合优化成像系统进行训练；(5)利用全局优化得到的网络参数和超表面结构参数设计成像系统。利用本发明能够将端到端可学习网络在设计消色差超构透镜方面的优势与高频信息对于成像效果的提升相结合，解决了消色差超表面光学成像系统中各指标相互制约带来的难题，为超构透镜消色差问题提供了有效简便的新方法。CN115857159ACN115857159A权利要求书1/1页1.一种基于端到端联合优化的超构透镜消色差方法，其特征在于，该方法包括如下步骤：步骤1：搭建超表面光学成像系统，在超构透镜前方放置多波段带通滤光片使色差不连续，降低图片高频信息在混叠过程中的丢失；在成像面上设置传感器用于接收图像；步骤2：建立可微的超构透镜成像模型，该成像模型通过确定超构透镜相位面来模拟超表面光学系统的点扩散函数；将传感器的噪声建模为高斯‑泊松噪声，点扩散函数与标准图像卷积并叠加噪声影响后获得经过超构透镜并被传感器接收的图像；步骤3：建立用于图像重建的神经网络架构，通过在特征空间反卷积恢复对图像的良好估计；步骤4，整合所述可微的超构透镜成像模型和所述神经网络，建立端到端联合优化成像系统并训练网络，损失函数定义如下：Loss＝ρ1L1+ρgLg其中，L1为均方误差之和，Lg为空间梯度损失，ρ1和ρg为加权系数；步骤5，对网络参数和超构透镜结构参数进行全局优化，利用优化得到的参数设计超构透镜和图像重建网络，利用所述端到端联合优化成像系统获得重建后的高质量消色差图像。2.根据权利要求1所述的一种基于端到端联合优化的超构透镜消色差方法，其特征在于，所述多波段带通滤光片允许通过的最小波长为400nm，最大波长为740nm。3.根据权利要求1所述的一种基于端到端联合优化的超构透镜消色差方法，其特征在于，所述超构透镜由多个微纳结构单元排列组成，所述微纳结构单元包括二氧化硅衬底以及位于该衬底上的氮化硅长方体纳米柱。4.根据权利要求1所述的一种基于端到端联合优化的超构透镜消色差方法，其特征在于，所述步骤2中，所述超构透镜为旋转对称结构以降低计算复杂度，其相位计算公式如下：其中，r是超构透镜上一点距光轴的距离，R是超构透镜半径，n是多项式项的数量，用以更好地控制相位分布，{a0，…an}是多项式系数。5.根据权利要求1所述的一种基于端到端联合优化的超构透镜消色差方法，其特征在于，所述步骤2中，超构透镜的点扩散函数计算公式如下：其中，r是超构透镜上一点距光轴的距离，i是选定的目标波长的数量，{λ0,…λi}是目标波长，∪(x,y)是穿过超构透镜后沿超表面位置(x,y)处的光场，表示光学傅里叶变换，对光场分布作傅里叶变换后取模平方即可得点扩散函数。6.根据权利要求1所述的一种基于端到端联合优化的超构透镜消色差方法，其特征在于，所述步骤3中，所述神经网络用于图像重建过程的公式表示如下：O＝fD(fF(I)，PSF)其中，O是重建图像，fD是反卷积算法，I是传感器接收的图像，fF是一系列卷积神经网络层，用以确定图像特征。2CN115857159A说明书1/4页一种基于端到端联合优化的超构透镜消色差方法技术领域[0001]本发明涉及计算摄像学领域，尤其涉及一种基于端到端联合优化的超构透镜消色差方法。背景技术[0002]色差是可见光成像系统中不可避免的重要问题之一：由于不同波长在光学材料中的折射率不同，不同波长光线的焦点会沿光轴方向分散，从而明显降低全彩色成像系统的性能。传统光学系统一般通过复合光学性质不同的透镜实现可见光波段孤立波长的消色差，不仅增加了光学系统的复杂性、限制了相机设备的轻量化，也无法解决具有更高成像质量要求的消色差问题。[0003]光学