图像分割方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111091576A(43)申请公布日2020.05.01(21)申请号202010194643.X(22)申请日2020.03.19(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人胡一凡李悦翔魏东陈嘉伟曹世磊(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人祝亚男(51)Int.Cl.G06T7/11(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书20页附图9页(54)发明名称图像分割方法、装置、设备及存储介质(57)摘要本申请公开了一种图像分割方法、装置、设备及存储介质，属于图像处理技术领域。本申请通过图像分割模型中不同尺度的神经网络对目标图像以及第一掩膜分别进行处理，得到尺度不同的多个特征图和中间掩膜，充分保留高分辨率的图像信息；由多个注意力单元，对每个特征图应用注意力权重进行加权运算，得到多个中间特征图；对每个中间特征图进行特征融合，得到第二掩膜；若第二掩膜满足条件，基于第二掩膜进行图像分割，否则，基于第二掩膜调整第一掩膜，再基于调整后的第一掩膜和目标图像输出新的第二掩膜，判断新的第二掩膜是否满足条件。在上述方案中，应用注意力机制、多尺度特征融合、迭代调整分割区域三种途径，来提图像分割结果的准确率。CN111091576ACN111091576A权利要求书1/3页1.一种图像分割方法，其特征在于，所述方法包括：将包含目标对象的目标图像以及第一掩膜输入图像分割模型，所述图像分割模型包括多个不同尺度的神经网络以及至少一个注意力单元；通过所述多个不同尺度的神经网络对所述目标图像以及所述第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜；通过所述至少一个注意力单元，对每个所述特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到尺度不同的多个中间特征图；对每个所述中间特征图进行特征融合，得到第二掩膜，所述第二掩膜用于预测所述目标对象在所述目标图像的位置信息；响应于所述第二掩膜满足目标条件，基于所述第二掩膜将所述目标图像中的目标对象分割出来，否则，基于所述第二掩膜对所述第一掩膜进行调整，由所述图像分割模型基于调整后的第一掩膜以及所述目标图像输出新的第二掩膜，判断所述新的第二掩膜是否满足所述目标条件。2.根据权利要求1所述的方法，其特征在于，所述通过所述多个不同尺度的神经网络对所述目标图像以及所述第一掩膜分别进行数据处理，得到尺度不同的多个特征图以及各个特征图对应的中间掩膜，包括：通过所述多个不同尺度的神经网络分别对所述目标图像进行特征提取，得到尺度不同的多个特征图；基于所述多个不同尺度，对所述第一掩膜进行尺度变换，得到所述各个特征图对应的中间掩膜。3.根据权利要求2所述的方法，其特征在于，所述通过所述多个不同尺度的神经网络分别对所述目标图像进行特征提取，得到尺度不同的多个特征图，包括：对于所述多个不同尺度的神经网络中的任一个神经网络，获取前一个神经网络输出的第一尺度的特征图，对所述第一尺度的特征图进行下采样，得到第二尺度的特征图，所述第二尺度小于所述第一尺度；获取各个神经网络输出的特征图，得到所述尺度不同的多个特征图。4.根据权利要求1所述的方法，其特征在于，所述通过所述至少一个注意力单元，对每个所述特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到尺度不同的多个中间特征图，包括：对于每个注意力单元，获取前一个注意力单元输出的多个不同尺度的加权特征图，对每个所述加权特征图中不同区域的元素应用不同的注意力权重进行加权运算，得到多个不同尺度的加权特征图；获取最后一个注意力单元输出的多个不同尺度的加权特征图，作为所述中间特征图。5.根据权利要求4所述的方法，其特征在于，所述对每个所述加权特征图中不同区域的元素应用不同的注意力权重进行加权运算，包括：基于任一加权特征图以及与所述任一加权特征图尺度相同的所述中间掩膜，确定所述任一加权特征图中目标区域对应的第一权重序列以及背景区域对应的第二权重序列，所述目标区域为所述目标对象的所在区域；基于所述第一权重序列以及所述第二权重序列，对所述任一加权特征图中不同区域的2CN111091576A权利要求书2/3页元素进行加权运算。6.根据权利要求5所述的方法，其特征在于，所述基于任一加权特征图以及与所述任一加权特征图尺度相同的所述中间掩膜，确定所述任一加权特征图中目标区域对应的第一权重序列以及背景区域对应的第二权重序列之后，所述方法还包括：对所述第一权重序列以及所述第二权重序列进行特征融合；基于特征融合后的所述第一权重序列以及所述第二权