基于条件生成对抗网络的水下图像增强方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115565056A(43)申请公布日2023.01.03(21)申请号202211179797.7G06V10/82(2022.01)(22)申请日2022.09.27G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人中国农业大学地址100193北京市海淀区圆明园西路2号(72)发明人李振波李一鸣李飞(74)专利代理机构北京众合诚成知识产权代理有限公司11246专利代理师张文宝(51)Int.Cl.G06V20/05(2022.01)G06V10/30(2022.01)G06V10/32(2022.01)G06V10/42(2022.01)G06V10/44(2022.01)G06V10/80(2022.01)权利要求书2页说明书8页附图4页(54)发明名称基于条件生成对抗网络的水下图像增强方法及系统(57)摘要本发明提出了一种基于条件生成对抗网络的水下图像增强方法及系统，通过提取并融合多尺度局部特征以及全局特征来校正退化水下图像的色彩，通过构建用于水下图像增强的注意力模块AMU来提升特征提取效果，在训练中引入感知损失与总变差损失来提升生成图像的质量，抑制噪声出现。本发明的方法可为智能化水产养殖的行为监测、病害识别等高层次视觉任务提供清晰的水下环境信息，推动智能集约化水产养殖健康可持续发展。CN115565056ACN115565056A权利要求书1/2页1.一种基于条件生成对抗网络的水下图像增强方法，包括如下步骤：步骤1：获取水下退化图像和对应的纯净图像的成对图像集，并分为训练集和测试集；步骤2：将所有图像缩放为大小相同的尺寸；步骤3：模型构建，包括：基于编解码器结构对图像进行全局和局部特征提取；将全局特征分别与各尺度的局部特征进行融合；将全局特征经过逐层上采样进行图像还原，每个上采样层与对应尺度的融合特征进行连接；将生成的图像送入判别器网络，判断其是否来自于真实数据，促使生成器网络进行调整；步骤4：模型训练和测试，保存测试好的模型；步骤5：利用测试好的模型对实际水下图像进行处理。2.根据权利要求1所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，所述编解码器结构为改进的U‑Net网络，其包括8层降采样，并通过逐层卷积的方式对输入图像进行全局和局部特征提取。3.根据权利要求2所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，所述降采样层的每一个由LeakyRelu层、二维卷积层和批归一化层组成。4.根据权利要求2所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，在降采样过程中基于SENet与NAM模块，将SENet中的全局平均池化模块更换为NAM模块中的批归一化比例因子，构建用于水下图像增强的注意力模块。5.根据权利要求4所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，在所述注意力模块中，输入的特征图经过批归一化层和1×1卷积处理，并与权重系数相乘，再经过ReLU激活函数、1×1卷积层和sigmoid激活函数，最终与输入特征图进行跳层连接。6.根据权利要求2所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，在逐层上采样的结果与具备相同分辨率的降采样结果进行跳层连接之前进行全局和局部特征融合，融合过程为：步骤4‑1：通过卷积核大小为1×1、步长为1的卷积层将全局特征fg的通道数量cg调整为与对应尺度i的局部特征图fl相同的通道数ci，该步骤表示为fg1＝Fconv(fg，W)其中，Fconv表示卷积操作，W为可学习权重；步骤4‑2：对fg1进行复制，复制数量为hi×wi，其中，hi与wi为尺度i的局部特征图fl的长度和宽度，该操作表示为fg2＝Fcopy(fg1，num＝hi×wi)步骤4‑3：将fg2重塑为与fl相同的维度hi×wi×cifg3＝Fre(fg2，size＝hi×wi×ci)其中，Fre表示重塑操作。步骤4‑4：将fg3与fl进行连接操作fout＝Fconcat(fl，fg3)。7.根据权利要求2所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，基于改进的U‑Net网络进行图像还原，其包括8层上采样，并与降采样层对应。8.根据权利要求7所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在2CN115565056A权利要求书2/2页于，所述上采样层的每个包括ReLU层、双线性上采样层、卷积层和批归一化层。9.根据权利要求1所述的一种基于条件生成对抗网络的水下图像增强方法，其特征在于，模型训练损失的总体目标函数为：‑1‑2‑3其中，WGAN‑GP、L1、Lp、LTV均为损失函数，λ1＝10，λ2＝10，λ3＝10；其中，x为退化的水下图像，