一种水下偏振图像复原与识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114155164A(43)申请公布日2022.03.08(21)申请号202111424096.0G06V10/82(2022.01)(22)申请日2021.11.26G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人浙江理工大学G06N3/08(2006.01)地址310000浙江省杭州市江干区杭州经济开发区白杨街道(72)发明人王国臣高杰任启明项延发陈瑞品张建军(74)专利代理机构杭州敦和专利代理事务所(普通合伙)33296代理人姜术丹(51)Int.Cl.G06T5/00(2006.01)G06V20/05(2022.01)G06V10/14(2022.01)G06V10/764(2022.01)权利要求书2页说明书4页附图2页(54)发明名称一种水下偏振图像复原与识别方法(57)摘要本发明提供了一种水下偏振图像复原与识别方法，包括搭建水下主动成像系统；拍摄偏振图像；构建数据集；对数据集进行打标处理；在pytorch框架基础上设计图像复原网络与识别网络；搭建图像复原与目标识别网络层；复原图像与识别结果进行合并，实现端对端的图像复原与识别等多个步骤进行水下偏振图像的复原和识别，最后使用测试集测试经图像复原网络模型恢复后的图像质量效果并利用测试集的含有目标位置与类别信息的标签文件测试识别网络的识别效果。CN114155164ACN114155164A权利要求书1/2页1.一种水下偏振图像复原与识别方法，其特征在于，包括以下步骤：步骤1、搭建水下主动成像系统；由光源(1)发出的光束依次经过偏振调制系统的第一偏振片(2)、第二四分之一波片(3)和扩束器(4)后照射在水中的目标物上(7)，经过目标物(7)反射后依次经过图像采集系统的第二偏振片(8)，四分之一波片(9)到达CMOS相机(10)；步骤2、拍摄偏振图像；拍摄水下中清晰强度图像，利用步进电机控制CMOS相机(10)前的第二偏振片(8)，旋转至0°、45°、90°，并加入四分之一波片，得到0°、45°、90°和圆偏振四张图像；步骤3、构建数据集；首先利用裁剪图像得到0°、45°、90°和圆偏振四张图像合成按照RGB图像格式构建三维图像，通过翻转扩大数据集，同时对图像中的目标进行打标操作，在标记图像中目标位置与类别信息；将得到的图像按0.8：0.1：0.1的比例分为训练集，验证集，测试集；步骤4、在pytorch框架基础上设计图像复原网络与识别网络；其中图像复原网络由SFE、RDB、DFF网络层组件构成，用于图像的复原；目标识别网络由CSPDarknet53、SPP、PANet网络层组件构成，用于图像中目标的识别；通过路径聚合网络(PANet)将图像复原网络与识别网络进行链接，实现图像复原的同时实现目标识别；步骤5、搭建复原图像网络层；将步骤3中处理好的图像输入图像复原网络，经过SFE网络的卷积层提取偏振信息特征，将提取到的偏振信息特征送入步骤四中的RDB网络，RDB网络利用密集残差块实现对偏振信息的处理，拟合非线性参数，通过拟合K估计值函数进一步提取对清晰成像有效的偏振信息，然后将在RDB网络得到的多尺度有效偏振信息特征分别传入目标识别网络与连接层，在识别网络层实现偏振信息特征参数共享，再连接层组成的特征图进行连接，得到完整的图像矩阵，完成了对图像的复原；步骤6、搭建目标识别网络层；将图像传入SFE网络层提取偏振信息特征后，使用CSPDarknet53网络进一步提取偏振图像的边缘、表层粗糙度和背景的特征，并融合步骤5中在RDB网络得到的有效偏振信息特征，增加特征维度，同时对比SFE网络输入的偏振信息特征，得到差异矩阵并输入CSPDarknet53网络的下一级残差(Res)网络；然后将得到的特征图传入SPP层对目标物进行定位，并将目标物对应的特征矩阵按照固定大小输入PANet网络，通过对不同尺度下的特征图进行相加或堆叠操作，利用三个分类器对大中小三种尺寸的目标物进行分类识别，在输出端，结合DFF层输出的清晰图像矩阵与在目标识别层得到的位置信息与分类结果，输出一张清晰成像下的目标识别图。2.根据权利要求1所述的一种水下偏振图像复原与识别方法，其特征在于，利用步骤3中的训练集对搭建的网络进行训练，得到图像复原网络与目标识别网络的权重文件。3.根据权利要求1所述的一种水下偏振图像复原与识别方法，其特征在于，利用测试集图像对步骤4搭建的复原与识别网络模型进行测试，使用图像增强指标衡量图像复原效果，并利用标签文件对目标识别结果进行评价。4.根据权利要求1所述的一种水下偏振图像复原与识别方法，其特征在于，在步骤6中，通过利用RDB网络提取的有效偏振信息特征，与目标识别网络实现参