一种基于深度学习的宽场照明荧光超分辨显微成像方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115841423A(43)申请公布日2023.03.24(21)申请号202211589185.5G06N3/0475(2023.01)(22)申请日2022.12.12(71)申请人之江实验室地址311121浙江省杭州市余杭区之江实验室南湖总部申请人浙江大学(72)发明人刘文杰叶子桐匡翠方谢舜宇陈友华董建杰(74)专利代理机构北京志霖恒远知识产权代理有限公司11435专利代理师戴莉(51)Int.Cl.G06T3/40(2006.01)G06N3/0464(2023.01)G06N3/045(2023.01)权利要求书2页说明书4页附图3页(54)发明名称一种基于深度学习的宽场照明荧光超分辨显微成像方法(57)摘要本发明公开了一种基于深度学习的宽场照明荧光超分辨显微成像方法，包括训练集原始图像获取，训练数据集制作，网络训练、损失函数构建，超分辨图像重建等步骤，本发明仅通过一张宽场图片即可实现超分辨SIM重构，成像速度快，降低了光毒性，提升了时间分辨率；训练集需要使用SIM系统采集，一旦训练完成之后即可基于普通的宽场显微镜系统完成超分辨成像，光路简单，样品要求低，普适性强。CN115841423ACN115841423A权利要求书1/2页1.一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于，包含以下步骤：S1、训练集原始图像获取：利用SIM硬件系统拍摄样品在相同区域中处于不同方向、不同相位正弦条纹照明下的图像作为一组原始图像，拍摄不同样品在不同区域中处于不同方向、不同相位正弦条纹照明下的图像，获得多组原始图像；S2、训练数据集制作：将S1中采集的一组原始图像进行加和平均，得到相应的宽场图像；将一组原始图像作为训练网络的真值，相应宽场图像作为训练网络的输入进行训练，得到一批训练数据集；S3、网络训练、损失函数构建：采用Adam优化器对训练数据集的数据进行迭代优化，缩小损失函数中输出与真值的差距至网络收敛，将此时的参数保存为最优网络参数，作为宽场荧光超分辨重建的前置条件；S4、超分辨图像重建：利用均匀光场照明样品，得到样品的宽场荧光图像，输入步骤S3中训练好的最优网络参数得到网络输出的SIM数据，再通过SIM重建算法进行SIM超分辨重建，得到重建的超分辨图像。2.根据权利要求1所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于：所述步骤S1中如果为二维SIM照明模式采集数据，一组原始数据为9张图，如果为三维SIM照明模式采集数据，一组原始数据为15张图。3.根据权利要求1所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于，所述所述步骤S2中先对多张原始图像进行分割、旋转进行数据增广，再进行加和平均。4.根据权利要求1所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于，所述步骤S2中先对多张原始图像进行归一化，设置信息密度阈值，去除信息密度低于信息密度阈值的图像，再进行加和平均。5.根据权利要求1所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于，所述步骤S3包括以下子步骤：S3.1、构建生成对抗网络，该网络由生成器网络与辨别器网络两部分组成；S3.2、构建包含生成器损失和辨别器损失的损失函数，生成器损失用于量化描述生成器输出与真值之间的差距，该损失为傅里叶损失，均方根误差与辨别器损失加权和，用于约束输出的空域、频域损失；辨别器损失函数描述辨别器识别正确率，为二进制交叉熵函数；S3.3、将S2所得宽场图像输入生成器网络，S1中所得多组原始图像作为真值，在迭代中缩小生成器损失函数取值，优化生成器网络，同时将生成器网络输出与S1中所得多组原始图像输入辨别器网络，提升辨别器网络识别真实原始图像准确率。6.根据权利要求5所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于：所述子步骤S3.1中生成器网络用于扩大网络的感受野，其包含2个下采样模块，9个残差块，2个上采样模块。7.根据权利要求5所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于：所述子步骤S3.2中傅里叶损失为网络输出与真值的频域模值之差的平均值。8.根据权利要求5所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于：所述子步骤S3.3中生成器网络与辨别器网络所使用的优化器均为Adam优化器，2CN115841423A权利要求书2/2页在生成器训练中冻结辨别器。9.根据权利要求1所述的一种基于深度学习的宽场照明荧光超分辨显微成像方法，其特征在于：所述步骤S4包括以下子步骤：S4.1、将宽场荧光图像输入步骤S3中搭建的生成器网络，载入步骤S3中保存的生成器最佳参数,网络输出不同方向、不同相位正弦条