图像标注模型的训练及图像标注的方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113673607A(43)申请公布日2021.11.19(21)申请号202110976261.7(22)申请日2021.08.24(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人孔翔飞(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06K9/62(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书5页说明书22页附图7页(54)发明名称图像标注模型的训练及图像标注的方法及装置(57)摘要本说明书实施例提供一种图像标注模型的训练及图像标注的方法及装置。通过本说明书实施例提供的方法和装置，针对训练集中的图像，可以通过图像级的类别标签进行像素级的标注。在具体图像标注模型训练及图像标注过程中，通过原型向量对不同图像之间的特征进行交叉比较，从而进一步挖掘图像中的目标区域，还可以筛除非目标区域，实现弱监督下的目标分割任务。在损失确定过程中，不仅考虑分类损失，还考虑修正后的分割结果与本来的分割结果之间的相似性，从而使得分割结果更加稳定。CN113673607ACN113673607A权利要求书1/5页1.一种图像标注模型的训练方法，所述图像标注模型用于对具有分类标签的图像进行像素级的标注，所述图像标注模型包括特征提取模块、原型提取模块、修正模块、分类模块，所述方法包括：从样本集中获取第一图像和第二图像，其中，第一图像和第二图像都具有图像级的第一类别标签；通过预训练的特征提取模块分别处理所述第一图像、所述第二图像，得到对应的第一特征图、第二特征图；利用所述原型提取模块，分别从所述第一特征图、所述第二特征图提取多个原型向量，单个原型向量对应着相应特征图上的单个特征点，且对应有满足激活条件的相应激活值；经由修正模块，针对从所述第一特征图、第二特征图提取的各个原型向量，进行两两相似性比较，并按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图；根据所述第一修正特征图、第二修正特征图，利用分类模块对第一图像、第二图像分别进行分类，得到各自对应的分类结果，所述分类结果包括像素级的标注结果；基于所述分类结果确定图像标注模型的模型损失，从而以模型损失最小化为目标，调整图像标注模型的待定参数。2.根据权利要求1所述的方法，其中，所述特征提取模块包括由多个卷积层构成的第一卷积块，所述第一卷积块中的各个卷积层的卷积结果的通道数相同，所述第一特征图包括所述第一卷积块中的多个卷积层对所述第一图像进行卷积操作的各个卷积结果，所述第二特征图包括所述第一卷积块中的多个卷积层对所述第二图像进行卷积操作的各个卷积结果。3.根据权利要求1所述的方法，其中，所述利用原型提取模块，分别从第一特征图、第二特征图提取多个原型向量包括，经由以下方式从第一特征图提取多个原型向量：检测第一特征图中，各个特征点分别对应的各个激活值，其中，单个特征点的单个激活值与该单个特征点在各个通道的特征值的绝对值均为正相关；从满足激活条件的特征点中选择出多个特征点，作为候选特征点；针对单个候选特征点，根据其在各个通道的特征值，构建相应的单个原型向量。4.根据权利要求3所述的方法，其中，所述激活条件为激活值大于预定激活阈值；所述从满足激活条件的特征点中选择出多个特征点，作为候选特征点包括以下中的至少一项：将激活值大于预定激活阈值的特征点全部作为候选特征点；从激活值大于预定激活阈值的特征点中随机选择预定数量的特征点部作为候选特征点；在激活值大于预定激活阈值的特征点中，按照激活值由大到小的顺序选择预定数量的特征点部作为候选特征点。5.根据权利要求1所述的方法，其中，所述按照单个原型向量与其他原型向量的最大相似度，将所述第一特征图、第二特征图分别修正得到第一修正特征图、第二修正特征图包括：针对单个原型向量，将该单个原型向量与其他原型向量的最大相似度作为其在第一特征图/第二特征图上对应的单个特征点的特征值的置信度；2CN113673607A权利要求书2/5页将第一修正特征图/第二修正特征图中，该单个特征点的各个特征值分别按照所述置信度与相应的特征值的乘积进行修正，从而将所述第一特征图、第二特征图分别修正为相应的第一修正特征图、第二修正特征图。6.根据权利要求1所述的方法，其中，所述模型损失包括针对第一图像的第一损失和针对所述第二图像的第二损失，针对所述第一图像，所述分类结果包括像素级的第一标注结果，以及图像级的第一分类结果，所述第