一种低照度环境下海事图像增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111489303A(43)申请公布日2020.08.04(21)申请号202010231309.7(22)申请日2020.03.27(71)申请人武汉理工大学地址430070湖北省武汉市洪山区珞狮路122号(72)发明人刘文郭彧卢南华孙睿涵胡旭东崔振华马全党(74)专利代理机构湖北武汉永嘉专利代理有限公司42102代理人李丹(51)Int.Cl.G06T5/00(2006.01)G06T5/20(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种低照度环境下海事图像增强方法(57)摘要本发明公开了一种低照度环境下海事视频图像增强方法，该方法包括以下步骤：首先对输入的低照度图像采用Max-RGB方法估计初始的亮度分量，再利用导向滤波得到优化的亮度分量，进而采用Gamma变换对优化的亮度分量进行对比度校正，根据Retinex理论分离原始图像的反射分量，采用卷积盲去噪网络消除反射分量中的噪声，并保留图像的细节和色彩信息，最后将校正的亮度分量和优化的反射分量逐元素相乘获得增强图像。通过对海事图像进行分析，发现海事图像在纹理结构上与普通图像存在很大的差异，而对于海事图像增强方向的研究很少，本发明提出了一种有效地解决海事图像光照不足问题的低照度增强方法。CN111489303ACN111489303A权利要求书1/2页1.一种低照度环境下海事视频图像增强方法，其特征在于，包括以下步骤：1)采集低照度环境下海事图像数据集；2)将图像数据集通过Max-RGB获得初始的亮度分量，再通过导向滤波获得优化的亮度分量；3)将输入的低照度图像与导向滤波优化的亮度分量相除获得反射分量；4)采用卷积盲去噪网络消除反射分量中的噪声，保留图像的细节和色彩信息；5)对优化的亮度分量进行对比度校正，将校正的亮度分量和优化的反射分量逐元素相乘获得增强图像。2.根据权利要求1所述的低照度环境下海事视频图像增强方法，其特征在于，所述步骤2)中的通过Max-RGB获得初始的亮度分，采用以下公式：其中，I为海事低照度图像，为初始的亮度分量，并且R,G,B三个通道共享相同的亮度分量。3.根据权利要求1所述的低照度环境下海事视频图像增强方法，其特征在于，所述步骤2)中通过导向滤波获得优化的亮度分量，采用以下公式：其中，ω代表(xi,yj)的邻域，代表初始的亮度分量，代表优化的亮度分量，M代表输入图像对应的灰度图像，W是与M相关的滤波器。4.根据权利要求1所述的低照度环境下海事视频图像增强方法，其特征在于，所述步骤4)中卷积盲去噪网络为残差卷积神经网络。5.根据权利要求1所述的低照度环境下海事视频图像增强方法，其特征在于，所述步骤4)中卷积盲去噪网络包括噪声估计网络和噪声去除网络，结构如下：a)噪声估计网络由于含噪声的输入图像g和噪声水平估计图具有相同的大小，因此噪声估计子网络采用7层全卷积网络，估计输入图像的噪声等级，获得噪声水平估计图此网络仅包含卷积层和ReLU激活函数，b)噪声去除网络噪声去除网络引入残差学习方式，以含噪声的图像g及噪声水平估计图作为输入，估计残差图最后将噪声图g与残差图逐元素相加获得无噪声估计图像噪声去除网络采用16层U-Net网络结构。6.根据权利要求5所述的低照度环境下海事视频图像增强方法，其特征在于，所述步骤4)中噪声估计网络的每个卷积层的特征通道设置为32，所有滤波器的大小设置为3×3，并将ReLU激活函数置于每个卷积层之后。7.根据权利要求5所述的低照度环境下海事视频图像增强方法，其特征在于，所述步骤2CN111489303A权利要求书2/2页4)中噪声去除网络使用对称跳跃连接和转置卷积扩展接收域，并利用多尺度信息，D-Net中所有滤波器的大小设置为3×3，并且ReLU激活函数置于除最后一层以外的每个Conv层之后。8.根据权利要求5所述的低照度环境下海事视频图像增强方法，其特征在于，所述步骤4)中卷积盲去噪网络采用的损失函数为混合损失函数包含三个子损失函数以约束的噪声水平估计图和无噪声估计图像包括：不对称MSE损失函数和总变分正则项损失函数约束估计的噪声水平图其数学公式表示为：式中，Ω代表图像域，σ代表真实的噪声水平图，和代表水平梯度和垂直梯度的算子，α和β是损失函数的惩罚系数；对于无噪声估计图像使用结构相似损失函数对其进行约束，其数学公式如下：其中，f代表真实的无噪声图像，SSIM可以表示为：式中，μf和分别代表图像的均值，σf和分别代表图像的方差，代表两图像间的协方差，整个网络的损失函数表示为：其中，λasymm为不对称MSE损失函数惩罚项系数，λTV为全变分正则项损失函数惩罚