图像分割方法、遥感图像分割方法以及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761222A(43)申请公布日2023.03.07(21)申请号202211182413.7(22)申请日2022.09.27(71)申请人阿里巴巴（中国）有限公司地址311121浙江省杭州市余杭区五常街道文一西路969号3幢5层554室(72)发明人于超辉周强王志斌王帆(74)专利代理机构北京智信禾专利代理有限公司11637专利代理师金鹏(51)Int.Cl.G06V10/26(2022.01)G06V20/13(2022.01)G06V10/42(2022.01)G06V10/44(2022.01)G06V10/80(2022.01)权利要求书3页说明书24页附图6页(54)发明名称图像分割方法、遥感图像分割方法以及装置(57)摘要本说明书实施例提供图像分割方法、遥感图像分割方法以及装置，其中所述图像分割方法包括：获取待分割图像，对待分割图像进行特征提取，获得全局图像特征向量和局部图像特征向量，根据随机文本向量、全局图像特征向量和预设类别标签，构建提示文本向量，对提示文本向量进行特征提取，获得文本特征向量，根据局部图像特征向量和文本特征向量，经过特征编译，确定待分割图像的分割结果。对单个待分割图像，充分挖掘深层特征，使分割结果更满足人们的图像使用习惯，对分割结果再处理时，得到良好的处理结果，提升分割结果的准确度和用户体验。CN115761222ACN115761222A权利要求书1/3页1.一种图像分割方法，包括：获取待分割图像；对所述待分割图像进行特征提取，获得全局图像特征向量和局部图像特征向量；根据随机文本向量、所述全局图像特征向量和预设类别标签，构建提示文本向量；对所述提示文本向量进行特征提取，获得文本特征向量；根据所述局部图像特征向量和所述文本特征向量，经过特征编译，确定所述待分割图像的分割结果。2.根据权利要求1所述的方法，所述根据随机文本向量、所述全局图像特征向量和预设类别标签，构建提示文本向量，包括：对所述全局图像特征向量进行维度映射，获得与随机文本向量的向量维度相同的全局图像特征向量；对所述随机文本向量、维度映射后的所述全局图像特征向量和预设类别标签进行拼接，获得提示文本向量。3.根据权利要求1所述的方法，在所述根据所述局部图像特征向量和所述文本特征向量，经过特征编译，确定所述待分割图像的分割结果之前，还包括：对所述文本特征向量和所述局部图像特征向量进行交叉注意力计算，确定目标文本特征向量；基于所述目标文本特征向量，对所述文本特征向量进行微调，获得更新的所述文本特征向量。4.根据权利要求3所述的方法，所述对所述文本特征向量和所述局部图像特征向量进行交叉注意力计算，确定目标文本特征向量，包括：利用预设的多层结构翻译模型解码器，对所述文本特征向量和所述局部图像特征向量进行交叉注意力计算，确定目标文本特征向量。5.根据权利要求1‑4中任一项所述的方法，所述根据所述局部图像特征向量和所述文本特征向量，经过特征编译，确定所述待分割图像的分割结果，包括：对所述局部图像特征向量和所述文本特征向量进行多尺度特征对齐，得到特征对齐向量；基于所述特征对齐向量和所述局部图像特征向量，经过特征编译，确定所述待分割图像的分割结果。6.根据权利要求5所述的方法，所述基于所述特征对齐向量和所述局部图像特征向量，经过特征编译，确定所述待分割图像的分割结果，包括：对所述特征对齐向量和所述局部图像特征向量进行对应维度的拼接，获得拼接特征向量；对所述拼接特征向量进行特征编译，获得所述待分割图像的分割结果。7.根据权利要求1所述的方法，所述对所述待分割图像进行特征提取，获得全局图像特征向量和局部图像特征向量，包括：将所述待分割图像输入预训练的图像编码器，利用所述图像编码器对所述待分割图像进行特征提取，获得全局图像特征向量和局部图像特征向量；所述对所述提示文本向量进行特征提取，获得文本特征向量，包括：2CN115761222A权利要求书2/3页将所述提示文本向量输入文本编码器，利用所述文本编码器对所述提示文本向量进行特征提取，获得文本特征向量；所述根据所述局部图像特征向量和所述文本特征向量，经过特征编译，确定所述待分割图像的分割结果，包括：对所述局部图像特征向量和所述文本特征向量进行多尺度特征对齐，得到特征对齐向量；将所述局部图像特征向量和所述特征对齐向量输入预训练的译码器，利用所述译码器对所述局部图像特征向量和所述特征对齐向量进行特征编译，确定所述待分割图像的分割结果。8.根据权利要求7所述的方法，还包括：获取样本图像集，其中，所述样本图像集包括多个样本图像及各样本图像对应的标签图像；从所述样本图像集中提取第一样本图像及所述第一样本图像对应的第一标签图像，其中，所述第一样本图