基于数据扰动的跨域自适应语义分割方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113627433A(43)申请公布日2021.11.09(21)申请号202110680850.0(22)申请日2021.06.18(71)申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号(72)发明人张兆翔宋纯锋王玉玺(74)专利代理机构北京路浩知识产权代理有限公司11002代理人盛明星(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书10页附图3页(54)发明名称基于数据扰动的跨域自适应语义分割方法及装置(57)摘要本发明提供的一种基于数据扰动的跨域自适应语义分割方法及装置，该方法包括，获取待处理数据以及添加数据扰动后的语义分割特征；基于所述待处理数据以及所述语义分割特征确定损失函数；基于所述损失函数通过误差反向传播算法训练模型得到跨域自适应语义分割模型，通过对目标域中大量无标签数据，本发明对这部分数据随机加入扰动，并保证经过扰动处理的图像能够保持语义的一致性，从数据扰动和跨域原型分类器两个角度解决了源域和目标域之间的领域不一致问题，并且针对在现实应用中更具实际应用价值的少量监督问题做了针对性的设计，并在基于对抗的学习框架下，取得了优秀的分割性能，将现有的标注样本的知识迁移到新数据模型中。CN113627433ACN113627433A权利要求书1/2页1.一种基于数据扰动的跨域自适应语义分割方法，其特征在于，包括：获取待处理数据以及添加数据扰动后的语义分割特征；基于所述待处理数据以及所述语义分割特征确定损失函数；基于所述损失函数通过误差反向传播算法训练模型得到跨域自适应语义分割模型。2.根据权利要求1所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述获取待处理数据以及添加数据扰动后的语义分割特征包括：获取待处理数据，所述待处理数据包括：有标签的源域数据有标签的目标域数据和无标签的目标域数据其中，ns、nt和nu分别依次表示源域数据的数量、有标签的目标域的数量以及无标签的目标域数据的数量；对所述无标签的目标域数据添加随机扰动，得到扰动后的目标域图像数据基于所述待处理数据以及所述目标域图像数据处理得到各自对应的语义分割特征；所述语义分割特征包括：有标签的源域数据特征Fs＝G(xs)，有标签的目标域数据特征Ft＝G(xt)，无标签的目标域数据特征Fu＝G(xu)以及扰动后的目标域图像数据特征Fa＝G(xa)。3.根据权利要求2所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述数据扰动包括以下至少一种：颜色抖动处理、高斯模糊处理以及亮度处理。4.根据权利要求1所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述基于所述待处理数据以及所述语义分割特征确定损失函数包括：将基于所述有标签的源域数据特征Fs＝G(xs)以及无标签的目标域数据特征Fu＝G(xu)传入到领域判别器网络，得到数据来源结果；所述判别器网络用于判别输出的特征来自于源数据或目标域数据；基于所述数据来源结果构建对抗损失函数：其中，E表示期望，p(x)表示数据x来自于分布p(x)。5.根据权利要求1所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述基于所述待处理数据以及所述语义分割特征确定损失函数包括：基于有标签的源域数据以及有标签的目标域数据构造基于标签监督信息的语义分割损失：其中lseg表示交叉熵损失，并且在数据x和标签y之间的定义为：H、W表示图像长和宽并且C代表分割类别总数；构造基于原型分类器的迁移损失，所述迁移损失包括：类别层面的适应损失其中和分别表示基于源域数据和目标域数据得到的类别原型；任务层面对齐损失：Ltask(xu)＝DKL(Ps(G,xu)||Pt(G,xu))，DKL表示KL散度约2CN113627433A权利要求书2/2页束；基于有标签的源域数据构造出基于有监督的语义分割损失其中，H，W，C分别表示图像的长宽以及类别；基于无标签的目标域数据构造语义一致性损失Ls_cyc(G)＝DKLPu(G,xu)||Pa(G,xa)。6.根据权利要求1至5任一项所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述基于所述损失函数通过误差反向传播算法训练模型得到跨域自适应语义分割模型包括：将训练样本输入到待训练模型，计算待训练模型的各层输出数据；基于所述损失函数计算待训练模型的网络输出误差，得到各层误差信息；基于所述各层误差信息调整待训练模型各层权值，直到网络总误差是否达到预设条件。7.一种基于数据扰动的跨域自适应语义分割装置，其特征在于，包括：数据获取模块，用于获取待处理数据以及添加数据扰动后的语义分割特征；损失确定模