图像分割方法、装置、设备、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112183507A(43)申请公布日2021.01.05(21)申请号202011369633.1(22)申请日2020.11.30(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人刘武梅涛周伯文(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人刘星雨张颖玲(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书17页附图4页(54)发明名称图像分割方法、装置、设备、存储介质(57)摘要本申请公开了一种图像分割方法、装置、设备和存储介质，所述方法包括：编码器对获取的待处理图像进行编码处理，得到多层第一特征图，所述多层第一特征图包含不同尺度的第一特征；所述编码器包括顺序连接的至少两个编码层，每一所述编码层输出一层第一特征图，每一所述编码层的输入包括前层的输出结果或所述待处理图像；解码器对所述多层第一特征图进行解码处理，得到融合特征图；其中，所述解码器包括顺序连接的至少两个解码层，每一所述解码层采用内容注意力算子和空间注意力算子来实现的，每一所述解码层的输入包括前层的输出结果和尺度相一致的第一特征图；分类器对所述融合特征图进行逐像素分类，得到所述待处理图像的图像分割结果。CN112183507ACN112183507A权利要求书1/2页1.一种图像分割方法，其特征在于，所述方法包括：编码器对获取的待处理图像进行编码处理，得到多层第一特征图，所述多层第一特征图包含不同尺度的第一特征；所述编码器包括顺序连接的至少两个编码层，每一所述编码层输出一层第一特征图，每一所述编码层的输入包括前层的输出结果或所述待处理图像；解码器对所述多层第一特征图进行解码处理，得到融合特征图；其中，所述解码器包括顺序连接的至少两个解码层，每一所述解码层采用内容注意力算子和空间注意力算子来实现的，每一所述解码层的输入包括前层的输出结果和尺度相一致的第一特征图；分类器对所述融合特征图进行逐像素分类，得到所述待处理图像的图像分割结果。2.根据权利要求1所述的方法，其特征在于，所述解码器对所述多层第一特征图进行解码处理，得到融合特征图，包括：所述解码器的每一解码层执行如下步骤：对本层的前一层的处理结果进行上采样，得到上采样特征图；将上采样特征图和匹配的第一特征图进行特征拼接，得到拼接后的特征图；利用多头注意力机制，对所述拼接后的特征图在空间上和内容上进行融合处理，得到本层解码层的处理结果；其中，所述解码器的末层解码层的处理结果为所述融合特征图；其中，所述多头注意力机制采用所述内容注意力算子和所述空间注意力算子来实现的。3.根据权利要求2所述的方法，其特征在于，所述利用多头注意力机制，对所述拼接后的特征图在空间上和内容上进行融合处理，得到本层解码层的处理结果，包括：从所述拼接后的特征图中采样出多个第二特征和每一所述第二特征对应的参考特征集合；利用多头注意力机制，确定每一所述第二特征和对应参考特征集合中每一参考特征在内容上和空间上的综合相关度；将与每一所述第二特征的综合相关度最高的参考特征，确定为与对应第二特征匹配的目标参考特征；将每一所述第二特征和对应的目标参考特征进行融合处理，得到对应的第二更新特征；根据每一所述第二更新特征，得到本层解码层的处理结果。4.根据权利要求3所述的方法，其特征在于，所述利用多头注意力机制，确定每一所述第二特征和对应参考特征集合中每一参考特征在内容上和空间上的综合相关度，包括：对每一所述第二特征和每一所述参考特征作为待匹配对；针对每一待匹配对，执行以下步骤：利用内容注意力算子，确定所述第二特征和所述参考特征在内容上的第一相关度；根据所述第一相关度，确定所述参考特征的第一权重；利用几何注意力算子，确定所述参考特征的第二权重；根据所述第一权重和所述第二权重，确定所述参考特征的综合权重；根据所述综合权重，确定所述第二特征和所述参考特征在内容上和空间上的综合相关度。5.根据权利要求4所述的方法，其特征在于，所述利用内容注意力算子，确定所述第二2CN112183507A权利要求书2/2页特征和所述参考特征在内容上的第一相关度，包括：利用内容注意力算子，确定所述第二特征对应的第一特征向量和所述参考特征对应的第二特征向量；确定所述第一特征向量和所述第二特征向量之间的点积；根据所述点积，确定所述第一特征向量和所述第二特征向量在内容上的第一相关度。6.根据权利要求3所述的方法，其特征在于，所述将每一所述第二特征和对应的目标参考特征进