基于迁移学习提升语义分割模型效果的框架.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109087303A(43)申请公布日2018.12.25(21)申请号201810929169.3(22)申请日2018.08.15(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人谢佳锋胡建芳钟逸朱海昇郑伟诗(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.G06T7/10(2017.01)权利要求书2页说明书6页附图1页(54)发明名称基于迁移学习提升语义分割模型效果的框架(57)摘要本发明公开了一种基于迁移学习提升语义分割模型效果的框架，包括下述内容：1)将迁移学习引入到语义分割领域，使得快速语义分割网络可以通过教师模型提升学生模型分割效果；2)提出一致性映射度量教师和学生模型的轮廓和纹路信息，并通过构造一致性损失函数来使得快速语义分割在细节处分割得更好；3)利用老师模型和条件随机场(CRF)模型为无标签数据生成辅助标签，并把数据加入到训练集，提升模型的泛化能力和分割效果。本发明在不引入额外模型参数，降低模型速度的情况下，提升了快速语义分割模型的准确率。CN109087303ACN109087303A权利要求书1/2页1.基于迁移学习提升语义分割模型效果的框架，其特征在于，包括下述步骤：构建一个新的语义分割模型基础框架，所述语义分割模型基础框架由两个不同的网络组成，分别为老师网络和学生网络，所述老师网络为学生网路提供有益于分割的知识指导，使得学生网路能学到老师网络的知识来帮助其拥有更好的分割效果，所述学生网络用于在保证其分割的速度的同时从老师网络提供的知识中学习到有益于其分割效果的知识；通过目标函数将老师网络和学生网络连接起来，所述目标函数是由基于逻辑分布变换出来的信息形式构造的，该目标函数的具体内容如下：用S和T来分别表示公式中的学生网络和老师网络：L＝Ls+r(S,T)上述公式中，Ls是交叉熵损失函数，其实由图片的标签与学生网络的概率分布之间求交叉熵得到的损失函数；r(S,T)代表的是老师网络与学生网络之间的知识偏差，其作为一个正则化项来正则化学生网络的学习过程，通过r(S,T)这一项，学生网络和老师网络被连接起来，并且通过最小化L目标函数可以把老师网络的知识传递到学生网络；把r(S,T)函数定义为：r(S,T)＝αLp(S,T)+βLc(S,T)Lp(S,T)是老师网络与学生网络之间的概率分布损失函数，定义为函数中的I表示batchsize的数量，G表示图片的像素集合，PS(x),PT(x)分别是学生和老师网络在图片区域每个像素点的概率分布输出，这个损失函数的定义是学生网络的输出概率分布跟老师网络的概率分布是相似的，这个函数可以捕抓到不同分割输出的零阶知识；为了补充LP损失函数捕捉到的零阶知识，LC函数被用于捕获学生网络和老师网络输出的一阶知识，定义LC函数为：其中函数中的I表示batchsize的数量，G表示图片的像素集合，一致性矩阵C(x)定义为B(x)意味着像素x的8个临近的像素，I(x)是对应网络像素点的逻辑分布输出；利用网络结构中的老师网络对无标签数据进行标签预测生成伪标签，并把生成标签数据加入模型的训练集中，再通过框架训练提升学生网络的分割效果。2.根据权利要求1所述基于迁移学习提升语义分割模型效果的框架，其特征在于，所述老师网络为网络深度很深且结构复杂的分割网络；所述学生网络为网络深度较浅且结构简单的分割网络。3.根据权利要求1所述基于迁移学习提升语义分割模型效果的框架，其特征在于，老师网络和学生网络均有逻辑分布输出结果，对网络的逻辑分布做了两种变换来用于传递不同维度的知识信息：一种是对网络输出的逻辑分布结果进行归一化得到其对应的概率分布结果，另一种是对网络输出的逻辑分布结果进行临近像素逻辑分布的一致性计算得到一致性2CN109087303A权利要求书2/2页矩阵。4.根据权利要求1所述基于迁移学习提升语义分割模型效果的框架，其特征在于，所述把生成标签数据加入模型的训练集中，再通过框架训练提升学生网络的分割效果具体为：把无标签的图像输入到老师网络得到的分割结果作为无标签图像的真实类标，然后把这些带预测标签的图片加入到原有的训练数据集中进行老师-学生模型框架的训练；于是总共有两个老师-学生学习过程，一个是进行在手工标注的训练集拥有精确的标注结果，另个进行在无标签数据拥有老师网络生成的带噪声的预测结果；以上的两个学习过成可以联合起来一起学习，特别的是，用标注和未标注数据进行的老师-学生学习过程的目标函数将是：L＝LLabeledData+λLunlabeledData上述函数中LLabeledData是老师-学生学习过程在精确标签训练数据集上得到的损