基于融合感知损失的深度语义分割图像压缩方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112785661A(43)申请公布日2021.05.11(21)申请号202110038463.7(22)申请日2021.01.12(71)申请人山东师范大学地址250014山东省济南市历下区文化东路88号(72)发明人孟丽丽陈思恩谭艳艳张佳邵秀婷张化祥(74)专利代理机构济南圣达知识产权代理有限公司37221代理人李琳(51)Int.Cl.G06T9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书9页附图4页(54)发明名称基于融合感知损失的深度语义分割图像压缩方法及系统(57)摘要本公开提供了基于融合感知损失的深度语义分割图像压缩方法及系统，所述方案基于子块以及基于子块的感知损失函数，对压缩网络以及GAN网络进行有效的基于子块的训练，相对于传统的基于原始图像大小的方式可以捕捉更多更微小的图像特征；同时，融合感知损失函数能够较好的平衡每个函数的优缺点，从而获得比传统训练方式更好的训练效果，并且，基于子块的策略还可以在一定程度上抑制振铃效应、色调分离以及区域模糊效应的出现；最后，为了更好的模拟人类复杂的视觉系统，所述方案利用基于视觉感知的评价指标—多尺度结构相似性(MS‑SSIM)，能够较好的保留图像中高频区域的对比度，以及绝对值误差(L1范式)可以保留图像原有色彩和局部结构的特性。CN112785661ACN112785661A权利要求书1/2页1.基于融合感知损失的深度语义分割图像压缩方法，其特征在于，包括：利用预训练的语义分割网络获得原始图像的图像增强语义图，并对其进行无损编码；将所述图像增强语义图和原始图像输入全卷积编码器进行压缩编码，生成图像的紧凑表示，作为基础图像描述信息，并对其进行无损编码；将上采样的基础图像描述信息及图像增强语义图作为图像残差网络的输入，获得增强重构图像，通过将增强重构图像和原始图像作差，得到重构图像残差信息，并对所述重构图像残差信息进行有损编码；将所述图像重构增强信息与所述重构图像残差信息相加，获得重构图像；其中，网络的预训练采用融合感知损失函数对所述压缩网络及图像残差网络进行基于子块的训练。2.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述的图像残差网络，使用图像增强语义图和上采样的基础图像描述信息通过GAN网络中的生成器来拟合图像在压缩过程中损失的图像特征信息，获得增强重构图像，进而通过将增强重构图像和原始图像做差得到重构图像残差信息。3.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述基于子块的训练包括：首先将原始图像分为大小相等的若干个子块，作为网络输入的基本单位；然后使用判别器网络对各个子块进行特征提取，以获得不同范围内的图像分布特征；最后通过融合感知损失与Adam优化器共同对原有GAN网络以及压缩网络进行有效的训练。4.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述基于子块的训练中，使用基于融合感知对抗损失来进行梯度回传，其中GAN网络中使用的基于子块的总体对抗损失可以表示为：LE＝LDp+LGp所述GAN网络中判别器的目标则是最大化LDp：其中，表示判别器网络从第i个子块中在d个尺度(0为原始大小、1为2x大小)下通过网络的第l层网络层提取出的图像的特征信息，这里图像一共分为n个子块。5.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述GAN网络中生成器的目标是最小化GAN标准损失，这里采用了基于子块的融合损失：LGp＝Lp+L1+LMS‑SSIM+LVGG其中，基于子块的损失Lp：j其中，原始图像以及生成图像被等分为c个大小相等的子块，Dd表示从判别网络中的第j层网络提取的特征信息，t则代表目标图像；在判别网络模型中子块被设置为初始大小和2x大小(其中1是原始大小，2代表的是上采样2倍的子块)，在区域的网络架构中共有n层网络，λ分别为Lp损失函数的总的权重系数。2CN112785661A权利要求书2/2页6.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，所述压缩网络采用全卷积架构，其前4层网络中依次采用了64、128、256、512数量的过滤器，除首层采用7*7大小的卷积核外，其余各层均采用3*3的卷积核大小以及stride＝2的步长来获取图像的隐式特征分布信息，且每层卷积层后均跟有实例规范化和ReLU激活函数。7.如权利要求1所述的基于融合感知损失的深度语义分割图像压缩方法，其特征在于，为了获得指定维度和大小的图像，所述压缩网络在原有的神经网络架构的最后增加了一个卷积核大小为7*7、过