基于生成对抗网络的图像语义分割模型构建方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110570433A(43)申请公布日2019.12.13(21)申请号201910818647.8(22)申请日2019.08.30(71)申请人北京影谱科技股份有限公司地址100000北京市朝阳区朝外大街22号5层521室(72)发明人吴霞(74)专利代理机构北京万思博知识产权代理有限公司11694代理人高镇(51)Int.Cl.G06T7/11(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于生成对抗网络的图像语义分割模型构建方法和装置(57)摘要本申请公开了一种基于生成对抗网络的图像语义分割模型构建方法和装置，该方法使用分割模型训练源域数据集，再使用生成对抗网络将源域数据集转换为新的目标域数据集，该新的目标域数据集保留了源域数据集中图像的结构特征但同时具有目标域数据集的全局特征，因此使用新的目标域数据集微调源域分割模型将降低源域和目标域的域移位影响，并且不会对数据的其他图像特征产生负影响，提高了图像语义分割模型的泛化能力，提高了自适应图像语义分割模型的精度和效率。如此，通过使用生成对抗网络有效的减少了源域和目标域间域移位的影响，提高了自适应图像语义分割的准确率和效率，并降低了成本，不用人工的工作也能取得较高的准确度。CN110570433ACN110570433A权利要求书1/2页1.一种基于生成对抗网络的图像语义分割模型构建方法，包括：选取基础数据集，确定出目标域数据集和源域数据集；采用源域数据集对分割模型进行训练，训练后得到源域分割模型，所述源域分割模型通过双边分割网络进行图像特征提取；采用生成对抗网络模型对从源域数据集中所提取出的图像与目标域数据集进行对抗训练，使得生成真实的图像样本，并将训练完的图像样本输出构成新的目标域数据集；采用经分割模型训练后的源域数据集的权重值作为对所述新的目标域数据集进行分割模型训练的起始点，使用所述新的目标域数据集微调所述源域分割模型，其中是使用交叉熵作为损失函数进行微调，最终构建出适用于目标域数据集的语义分割模型。2.根据权利要求1所述的方法，其特征在于，采用源域数据集对分割模型进行训练，训练后得到源域分割模型，所述源域分割模型通过双边分割网络进行图像特征提取，包括：采用深度残差网络作为双边分割网络对源域数据集进行图像特征提取，实现对源域数据集进行若干个批次的训练，在训练过程中使用ADAM作为训练优化器，得到分割精度高的图像。3.根据权利要求1所述的方法，其特征在于，采用生成对抗网络模型对从源域数据集中所提取出的图像与目标域数据集进行对抗训练，使得生成真实的图像样本，并将训练完的图像样本输出构成新的目标域数据集，包括：生成对抗网络由生成器和鉴别器组成；在生成器中包括编码器和解码器，所述编码器中的卷积层对从源域数据集中所提取出的图像进行采用并将获得的图像的输出特征送至所述解码器，在此过程中使用ReLu函数作为采样用的卷积层的激活函数，所述解码器中的卷积层训练所得到的图像输出特征并结合目标域数据集进行对抗学习进而重建图像的原始特征向量，在解码器的架构中采用dropout来减少过拟合；在鉴别器中，接收所述生成器生成的图像的原始特征向量作为输入，并将所述原始特征向量进行二进制分类输出，构建图像样本，从而形成新的目标域数据集。4.根据权利要求3所述的方法，其特征在于，在鉴别器中，采用softmax函数将所述原始特征向量转换为二进制分类输出，同时以与所述生成器相同的方式，使用ReLu函数作为鉴别器中所有卷积层的激活函数。5.一种基于生成对抗网络的图像语义分割模型构建装置，包括：数据集选取模块，其配置成选取基础数据集，确定出目标域数据集和源域数据集；源域图像特征提取模块，其配置成首先采用源域数据集对分割模型进行训练，训练后得到源域分割模型，所述源域分割模型通过双边分割网络进行图像特征提取；对抗网络训练模块，其配置成采用生成对抗网络模型对从源域数据集中所提取出的图像与目标域数据集进行对抗训练，使得生成真实的图像样本，并将训练完的图像样本输出构成新的目标域数据集；微调模块，其采用经分割模型训练后的源域数据集的权重值作为对所述新的目标域数据集进行分割模型训练的起始点，使用所述新的目标域数据集微调所述源域分割模型，其中是使用交叉熵作为损失函数进行微调，最终构建出适用于目标域数据集的语义分割模型。2CN110570433A权利要求书2/2页6.根据权利要求5所述的装置，其特征在于，所述源域图像特征提取模块具体配置成：采用深度残差网络作为双边分割网络对源域数据集进行图像特征提取，实现对源域数据集进行若干个批次的