一种基于元学习与伪标签策略的增量语义分割方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030254A(43)申请公布日2023.04.28(21)申请号202310047569.2(22)申请日2023.01.31(71)申请人中国矿业大学地址221116江苏省徐州市铜山区大学路1号(72)发明人周勇刘浩刘兵阿卜杜穆塔利布·埃尔·萨迪克(74)专利代理机构南京经纬专利商标代理有限公司32200专利代理师申纪文(51)Int.Cl.G06V10/26(2022.01)G06V10/82(2022.01)G06V20/70(2022.01)G06N3/0464(2023.01)权利要求书2页说明书7页附图1页(54)发明名称一种基于元学习与伪标签策略的增量语义分割方法(57)摘要本发明公开了一种基于元学习与伪标签策略的增量语义分割方法，包括：建立模型；表征训练，在每个增量步开始阶段，冻结除了特征提取器外的其他网络结构，利用临时分割头训练特征提取器；知识连接，仅更新掩码生成器与分割头的参数，冻结其他结构的参数，特征提取器提取训练数据的特征，掩码生成器生成掩码对语义分割网络进行分割；知识更新，利用元学习策略训练共享知识库，更新参数，进而获取可重复使用的知识以面对新任务；知识巩固，再次对掩码生成器与分割头进行训练，以巩固共享知识库中的新知识。本发明采用元学习算法可缓解模型对旧任务的遗忘，采用伪标签策略可解决背景类语义漂移问题。CN116030254ACN116030254A权利要求书1/2页1.一种基于元学习与伪标签策略的增量语义分割方法，其特征在于，包括以下步骤：S1，建立模型，模型包括掩码生成模块和语义分割网络，所述掩码生成模块包括特征提取器与掩码生成器，所述特征提取器从图像中提取特征，所述掩码生成器将特征作为输入，生成一组任务相关的掩码，用于查询和选择所述语义分割网络的相关权重以解决相应任务；所述语义分割网络包括共享知识库与分割头，结合元学习方法与所述掩码生成器对所述语义分割网络进行训练，训练过程中，结合旧模型的输出为训练集生成伪标签；S2，表征训练，在每个增量步开始阶段，冻结除了所述特征提取器外的其他网络结构，利用临时分割头训练所述特征提取器；S3，知识连接，仅更新所述掩码生成器与所述分割头的参数，冻结其他结构的参数；所述特征提取器提取训练数据的特征，所述掩码生成器生成掩码对语义分割网络进行分割；S4，知识更新，利用元学习策略训练所述共享知识库，更新参数，进而获取可重复使用的知识以面对新任务；S5，知识巩固，再次对所述掩码生成器与所述分割头进行训练，以巩固所述共享知识库中的新知识。2.根据权利要求1所述的一种基于元学习与伪标签策略的增量语义分割方法，其特征在于，在全部任务开始前，利用传统的训练方法，基于训练数据训练所述语义分割网络，后续每个增量步骤重复执行步骤S2‑步骤S5。3.根据权利要求1所述的一种基于元学习与伪标签策略的增量语义分割方法，其特征在于，所述特征提取器采用深层卷积网络方法实现t其中，F是增量任务t对应的特征提取器，Xi是输入图像，是输入图像经过深层卷积网络后所提取到的特征图。4.根据权利要求1所述的一种基于元学习与伪标签策略的增量语义分割方法，其特征在于，所述掩码生成器采用下式实现将通过所述特征提取器提取后的特征图经过单层卷积conv，并通过激活函数ρ，得到增量步t时对应于输入图像Xi的掩码5.根据权利要求1所述的一种基于元学习与伪标签策略的增量语义分割方法，其特征在于，所述语义分割网络结合元学习方法与所述掩码生成器进行训练，所述共享知识库采用n个带有残差连接的残差块串联构成，每个残差块均采用深层卷积网络实现其中，φ为共享知识库，为输入图像Xi在增量步t产生的掩码，fi为输入图像Xi依次通过第i个残差块后的特征图；将最深的特征图fn送入所述分割头中，得到语义分割结果o＝H(fn)2CN116030254A权利要求书2/2页其中，o为语义分割结果，H为语义分割头。6.根据权利要求5所述的一种基于元学习与伪标签策略的增量语义分割方法，其特征在于，所述最深的特征图fn的计算方法如下：固定所述共享知识库的权重，对输入图像Xi，通过所述特征提取器以及所述掩码生成器，得到对应的掩码将Xi通过所述共享知识库，在卷积计算的过程中，根据掩码的信息选取所述共享知识库中相关的知识，进而得到特征图fn：其中，bi为所述共享知识库的第i个残差块,δ为自适应平均池化层，为掩码的第j个分量。7.根据权利要求2所述的一种基于元学习与伪标签策略的增量语义分割方法，其特征在于，在步骤S4中，所述利用元学习策略训练所述共享知识库更新参数的方法包括内循环与外循环，其中内循环创建并训练任务相关的模型，外循环将任务相关的模型整合泛化，使之适用于全部任务，具体更新方法如下