用于实例分割的头部模型、实例分割模型、图像分割方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112508027A(43)申请公布日2021.03.16(21)申请号202011373087.9G06N3/04(2006.01)(22)申请日2020.11.30(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人王晓迪韩树民冯原辛颖张滨林书妃苑鹏程龙翔彭岩郑弘晖(74)专利代理机构北京银龙知识产权代理有限公司11243代理人许静黄灿(51)Int.Cl.G06K9/34(2006.01)G06K9/32(2006.01)G06K9/46(2006.01)权利要求书2页说明书8页附图3页(54)发明名称用于实例分割的头部模型、实例分割模型、图像分割方法及装置(57)摘要本申请公开了一种用于实例分割的头部模型、实例分割模型、图像分割方法及装置，涉及计算机视觉和深度学习技术等人工智能技术领域，其中头部模型包括：所述目标框分支包括第一分支和第二分支，所述第一分支用于对输入的第一特征图进行处理，得到目标框的类别信息和置信度，所述第二分支用于对所述第一特征图进行处理，得到所述目标框的位置信息；所述掩码分支用于对输入的第二特征图进行处理，得到掩码信息；其中，所述第二特征图为ROI提取模块输出的特征图，所述第一特征图为所述第二特征图经池化处理后得到的特征图。本申请能够使头部部分预测出的分割信息及置信度更加准确，从而使实例分割的分割效果更加精细。CN112508027ACN112508027A权利要求书1/2页1.一种用于实例分割的头部模型，包括目标框分支和掩码分支；所述目标框分支包括第一分支和第二分支，所述第一分支用于对输入的第一特征图进行处理，得到目标框的类别信息和置信度，所述第二分支用于对所述第一特征图进行处理，得到所述目标框的位置信息；所述掩码分支用于对输入的第二特征图进行处理，得到掩码信息；其中，所述第二特征图为感兴趣区域ROI提取模块输出的特征图，所述第一特征图为所述第二特征图经池化处理后得到的特征图。2.根据权利要求1所述的头部模型，其中，所述第一分支包括第一全连接层和第二全连接层，所述第一特征图依次经过所述第一全连接层和所述第二全连接层，得到所述目标框的类别信息和置信度。3.根据权利要求1所述的头部模型，其中，所述第二分支包括N个卷积层和第三全连接层，所述第一特征图依次经过所述N个卷积层和所述第三全连接层，得到所述目标框的位置信息，所述N为正整数。4.根据权利要求3所述的头部模型，其中，所述N个卷积层中的至少一个卷积层被替换为瓶颈模块，所述瓶颈模块包括短路分支和卷积层分支，所述短路分支的输出和所述卷积层分支的输出相加后得到的值作为所述瓶颈模块的输出。5.根据权利要求4所述的头部模型，其中，所述卷积层分支包括3×3×1024卷积层、1×1×1024卷积层和3×3×1024卷积层。6.根据权利要求1所述的头部模型，还包括掩码置信度重计算分支，所述掩码置信度重计算分支用于对输入的第三特征图和第四特征图进行处理，得到所述掩码分支的置信度，所述第三特征图为对所述掩码分支输出的特征图进行下采样操作后得到的特征图，所述第四特征图为所述ROI提取模块输出的特征图。7.根据权利要求6所述的头部模型，其中，所述掩码置信度重计算分支包括P个卷积层、采样层、第四全连接层和第五全连接层，所述P为正整数。8.根据权利要求1所述的头部模型，其中，所述第一特征图的维度为7×7×256，所述第二特征图的维度为14×14×256。9.一种用于实例分割的头部模型，包括目标框分支、掩码分支和掩码置信度重计算分支；所述目标框分支用于对输入的第一特征图进行处理，得到目标框的类别信息和置信度以及所述目标框的位置信息；所述掩码分支用于对输入的第二特征图进行处理，得到第三特征图；所述掩码置信度重计算分支用于对所述第二特征图和第四特征图进行处理，得到所述掩码分支的置信度；其中，所述第二特征图为感兴趣区域ROI提取模块输出的特征图，所述第一特征图为所述第二特征图经池化处理后得到的特征图，所述第四特征图为对所述第三特征图进行下采样操作后得到的特征图。10.一种实例分割模型，包括依次连接的主体部分、脖子部分、头部部分和损失计算部分，所述脖子部分和所述头部部分之间还设置有感兴趣区域ROI提取模块，所述头部部分采用权利要求1至9中任一项所述的头部模型。2CN112508027A权利要求书2/2页11.一种图像分割方法，具有权利要求10所述的实例分割模型，所述方法包括：利用所述实例分割模型对图像进行实例分割。12.一种图像分割装置，具有权利要求10所述的实例分割模型，所述图像分割装置通过所述实例分割模型对图像进行实例分割。13.一种电子设备，包括：至少一