基于语义融合生成对抗网络的图像比特增强方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114663315A(43)申请公布日2022.06.24(21)申请号202210326308.XG06V10/82(2022.01)(22)申请日2022.03.30G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人天津大学G06N3/08(2006.01)地址300072天津市南开区卫津路92号(72)发明人刘婧米晓峰窦倩倩苏育挺(74)专利代理机构天津市北洋有限责任专利代理事务所12201专利代理师李林娟(51)Int.Cl.G06T5/00(2006.01)G06T7/40(2017.01)G06T7/90(2017.01)G06V10/26(2022.01)G06V10/764(2022.01)G06V10/80(2022.01)权利要求书2页说明书10页附图2页(54)发明名称基于语义融合生成对抗网络的图像比特增强方法及装置(57)摘要本发明公开了一种基于语义融合生成对抗网络的图像比特增强方法及装置，方法包括：生成器以残差结构为框架，添加输入图像到输出的全局跳跃连接和语义融合层，将零填充后的高比特图像和语义分割结果作为输入，输出重构后的高比特图像；鉴别器基于VGG网络，具有图像真假预测分支和图像语义类别预测分支，将重构后的高比特图像或真实的高比特图像作为输入，输出为对输入图像是否为重构图像的预测和该图像所属类别的预测；对测试集预处理得到的零填充后的高比特图像和语义分割结果输入到已加载训练模型参数后的生成器网络得到重构高比特图像。装置包括：处理器和存储器。本发明进行像素级别的纹理生成约束；且保留突变区域纹理边缘细节，提高视觉质量。CN114663315ACN114663315A权利要求书1/2页1.一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，所述方法包括：1)生成器以残差结构为框架，添加输入图像到输出的全局跳跃连接和语义融合层，将零填充后的高比特图像和语义分割结果作为输入，输出重构后的高比特图像；鉴别器基于VGG网络，具有图像真假预测分支和图像语义类别预测分支，将重构后的高比特图像或真实的高比特图像作为输入，输出为对输入图像是否为重构图像的预测和该图像所属类别的预测；2)将训练集预处理得到的零填充后的高比特图像和语义分割结果作为生成器的输入数据，并将重构后的高比特或真实高比特图像作为鉴别器的输入数据，使用包括渐变突变区域梯度损失的组合损失函数，通过Adam优化器交替训练生成器网络和鉴别器网络的模型参数；3)对测试集预处理得到的零填充后的高比特图像和语义分割结果输入到已加载训练模型参数后的生成器网络得到重构高比特图像。2.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，在步骤1)之前，所述方法还包括：对训练集中的图像进行预处理，具体为：对真实高比特图像量化得到低比特图像，对所述低比特图像的比特位进行零填充得到零填充后的高比特图像；使用真实高比特图像获取语义分割结果和渐变区域检测结果。3.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，所述对测试集预处理，具体为：将真实高比特图像量化为低比特图像，对所述低比特图像的比特位进行零填充得到零填充后的高比特图像；使用零填充后的高比特图像获取语义分割结果。4.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，所述生成器为：以残差网络结构为基础的语义融合生成器，由四个残差组组成，每个残差组包括：一语义融合残差块和若干个通用残差块，相邻的残差块之间存在跳跃连接；所述通用残差块由两个卷积层和一个ReLU激活层构成，卷积层使用若干个3×3卷积操作。5.根据权利要求1所述的一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，所述语义融合层以图像特征和语义分割结果为输入，通过语义分割结果生成与图像特征对应的语义特征信息，对图像特征图进行语义增强。6.根据权利要求1或5所述的一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，所述语义融合层由卷积层构成，第一个卷积层和其后的激活层是参数共享的，最后两个卷积层是以激活层的输出为输入得到变换后的语义特征信息。7.根据权利要求1或5所述的一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，所述鉴别器由一系列卷积构成，鉴别器后端的第一个分支用于鉴别真假图像，第二个分支将输入图像预测为八个类别之一，两个分支共享前面的所有参数。8.根据权利要求1或5所述的一种基于语义融合生成对抗网络的图像比特增强方法，其特征在于，所述组合损失函数为：2CN114663315A权利要求书2/2页其中，Lreconstruction为L1‑范数的重