用于实例分割的方法、装置、设备和存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998592A(43)申请公布日2022.09.02(21)申请号202210693795.3(22)申请日2022.06.18(71)申请人脸萌有限公司地址英属开曼群岛(72)发明人高成郭勤振孙斌卢宾(74)专利代理机构北京世辉律师事务所16093专利代理师罗利娜(51)Int.Cl.G06V10/26(2022.01)G06V10/25(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06V20/70(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书13页附图6页(54)发明名称用于实例分割的方法、装置、设备和存储介质(57)摘要根据本公开的实施例，提供了用于实例分割的方法、装置、设备和存储介质。该方法包括：利用基于偏移窗口的自注意力机制，从目标图像提取特征图；基于特征图确定针对目标图像的多个候选掩码，候选掩码用于从目标图像分割出候选对象实例；基于特征图和多个候选掩码确定多个候选掩码对应的多个掩码置信度得分；以及至少基于多个掩码置信度得分确定针对目标图像的至少一个目标掩码，目标掩码用于从目标图像分割出目标对象实例。以此方式，可以提高在各种场景下实例分割的准确度。CN114998592ACN114998592A权利要求书1/3页1.一种实例分割的方法，包括：利用基于偏移窗口的自注意力机制，从目标图像提取特征图；基于所述特征图确定针对所述目标图像的多个候选掩码，候选掩码用于从所述目标图像分割出候选对象实例；基于所述特征图和所述多个候选掩码确定所述多个候选掩码对应的多个掩码置信度得分；以及至少基于所述多个掩码置信度得分确定针对所述目标图像的至少一个目标掩码，目标掩码用于从所述目标图像分割出目标对象实例。2.根据权利要求1所述的方法，其中确定所述多个候选掩码包括：基于所述特征图确定所述目标图像中的多个候选边界框；以及确定针对所述多个候选边界框的多个候选掩码，候选掩码用于从对应的候选边界框分割出候选对象实例。3.根据权利要求2所述的方法，其中确定针对所述目标图像的至少一个目标掩码包括：确定所述多个候选边界框对应的多个分类置信度得分，分类置信度得分指示候选边界框内的对象实例被分类到预定类别的置信度；以及基于所述多个分类置信度得分和所述多个掩码置信度得分，从所述多个候选掩码确定针对所述目标图像的至少一个目标掩码，目标掩码用于从对应候选边界框分割出目标对象实例。4.根据权利要求2所述的方法，其中从目标对象提取特征图包括：利用经训练的多个实例分割模型分别从所述目标图像提取多个特征图；并且其中确定所述多个候选边界框包括：利用所述多个实例分割模型分别基于各自提取的特征图确定多组候选边界框，以及通过融合所述多组候选边界框来确定所述多个候选边界框。5.根据权利要求4所述的方法，其中确定所述多个候选掩码包括：利用所述多个实例分割模型中的目标实例分割模型来确定所述多个候选掩码。6.根据权利要求5所述的方法，其中所述目标实例分割模型的性能指标度量超过所述多个实例分割模型中的其他实例分割模型的性能指标度量。7.根据权利要求1所述的方法，其中所述方法通过利用经训练的实例分割模型来执行，所述实例分割模型基于多项式损失函数来训练。8.根据权利要求1所述的方法，其中所述方法通过利用经训练的实例分割模型来执行，在所述实例分割模型的训练过程中执行以下：在达到预定的训练目标后，对所述实例分割模型执行多个训练周期的训练，得到多个更新参数值集合；以及通过组合所述多个更新参数值集合来确定所述实例分割模型的目标参数值集合。9.一种用于实例分割的装置，包括：特征提取模块，被配置为利用基于偏移窗口的自注意力机制，从目标图像提取特征图；候选掩码确定模块，被配置为基于所述特征图确定针对所述目标图像的多个候选掩码，候选掩码用于从所述目标图像分割出候选对象实例；掩码置信度确定模块，被配置为基于所述特征图和所述多个候选掩码确定所述多个候2CN114998592A权利要求书2/3页选掩码对应的多个掩码置信度得分；以及目标掩码确定模块，被配置为至少基于所述多个掩码置信度得分确定针对所述目标图像的至少一个目标掩码，目标掩码用于从所述目标图像分割出目标对象实例。10.根据权利要求9所述的装置，其中所述掩码置信度确定模块包括：候选边界框确定模块，被配置为基于所述特征图确定所述目标图像中的多个候选边界框；以及基于边界框的掩码确定模块，被配置为确定针对所述多个候选边界框的多个候选掩码，候选掩码用于从对应的候选边界框分割出候选对象实例。11.根据权利要求10所述的装置，其中所述目标掩码确定模块包括：分类置信度确定模块，被配置为确定所述多个候