基于双向无监督域适应融合的跨星遥感图像语义分割方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113837191A(43)申请公布日2021.12.24(21)申请号202111017498.9(22)申请日2021.08.30(71)申请人浙江大学地址310013浙江省杭州市西湖区余杭塘路866号(72)发明人尹建伟蔡钰祥杨莹春邓水光李莹(74)专利代理机构杭州天勤知识产权代理有限公司33224代理人王琛(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)权利要求书3页说明书9页附图2页(54)发明名称基于双向无监督域适应融合的跨星遥感图像语义分割方法(57)摘要本发明公开了一种基于双向无监督域适应融合的跨星遥感图像语义分割方法，包括源域‑目标域图像双向转换模型训练、图像转换模型双向转换器参数选择、源域‑目标域图像双向转换、源域和拟目标域语义分割模型训练、源域和目标域类别分割概率生成以及融合。本发明利用源‑目标和目标‑源双向域适应，将源域和目标域上类别分割进行概率融合，提高了跨星遥感图像语义分割模型的准确率和鲁棒性，进一步通过双向语义一致损失和转换器参数选择，从而避免了图像双向转换模型中转换器效果不稳定所带来的影响。CN113837191ACN113837191A权利要求书1/3页1.一种基于双向无监督域适应融合的跨星遥感图像语义分割方法，包括如下步骤：(1)利用源域图像xs和源域标签ys训练出源域语义分割模型FS；(2)利用源域图像xs以及目标域图像xt训练源‑目标域图像双向转换器，其包含源→目标方向的图像转换器和目标→源方向的图像转换器；(3)对于上述训练过程中生成的所有图像转换器的中间结果，从中选择一组最优的结果作为源→目标方向的图像转换器GS→T和目标→源方向的图像转换器GT→S；(4)利用图像转换器GS→T将源域图像xs从源域转换到目标域，得到拟目标域图像GS→T(xs)；(5)利用拟目标域图像GS→T(xs)和源域标签ys训练出拟目标域语义分割模型FT；(6)利用图像转换器GT→S将目标域图像xt从目标域转换到源域，得到拟源域图像GT→S(xt)；(7)将拟源域图像GT→S(xt)输入至源域语义分割模型FS中，得到目标域图像xt的源域类别分割概率PS；(8)将目标域图像xt输入至拟目标域语义分割模型FT中，得到目标域图像xt的目标域类别分割概率PT；(9)融合源域类别分割概率PS和目标域类别分割概率PT，得到目标域图像xt最终的类别分割概率P及分割结果map。2.根据权利要求1所述的跨星遥感图像语义分割方法，其特征在于：所述步骤(2)在对源‑目标域图像双向转换器进行训练过程中采用了语义一致损失函数其表达式如下：其中：表示数学期望函数，FS(xs)为xs输入至模型FS中得到的输出结果，FT(GS→T(xs))为GS→T(xs)输入至模型FT中得到的输出结果，FT(xt)为xt输入至模型FT中得到的输出结果，FS(GT→S(xt))为GT→S(xt)输入至模型FS中得到的输出结果，为FS(xs)与FT(GS→T(xs))之间的相似度，为FT(xt)与FS(GT→S(xt))之间的相似度。3.根据权利要求1所述的跨星遥感图像语义分割方法，其特征在于：所述步骤(3)的具体实现方式如下：3.1首先设定训练过程总的迭代次数为M，每隔Ni轮保存一次当前模型参数，对应得到个图像转换器即表示第i次迭代所保存的源→目标方向的图像转换器；同样每隔Nj轮保存一次当前模型参数，对应得到个图像转换器即表示为第j次迭代所保存的目标→源方向的图像转换器，i和j均为自然数且2CN113837191A权利要求书2/3页Ni和Nj为自设定的正整数；3.2将源域图像xs分别输入至图像转换器和中，得到对应的输出结果和3.3将和输入至模型FS中得到对应的输出结果和3.4根据和计算图像转换器和对应的得分iteration‑score(i)和iteration‑score(j)；3.5取对应得分iteration‑score(i)最高的一组图像转换器作为GS→T，取对应得分iteration‑score(j)最高的一组图像转换器作为GT→S。4.根据权利要求3所述的跨星遥感图像语义分割方法，其特征在于：所述步骤3.4中通过以下公式计算图像转换器和对应的得分iteration‑score(i)和iteration‑score(j)；其中：ys为源域标签。5.根据权利要求1所述的跨星遥感图像语义分割方法，其特征在于：所述步骤(9)中通过以下公式对源域类别分割概率PS和目标域类别分割概率PT进行融合，得到目标域图像xt最终的类别分割概率P及分割结果map；map＝σ(P)其中：λS和λT分别为源域类别分割概率和目标域类别分割概率的权重，σ()为