半监督语义分割模型训练方法、识别方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111898613A(43)申请公布日2020.11.06(21)申请号202011054144.7(22)申请日2020.09.30(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人劳江微王剑陈景东褚崴汪佳顾欣欣孙剑哲甘利民余泉孙晓冬(74)专利代理机构济南信达专利事务所有限公司37100代理人李世喆(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)权利要求书4页说明书12页附图2页(54)发明名称半监督语义分割模型训练方法、识别方法和装置(57)摘要本说明书实施例提供了半监督语义分割模型训练方法、识别方法和装置，根据实施例的半监督语义分割模型训练方法，首先通过获取人工对第一图像中的待标注对象进行标注后得到的第一监督数据，进而通过第一监督数据训练得到对待标注对象的识别率相对较高的全监督语义分割模型。利用全监督语义分割模型对未经过人工标注的第二图像中的待标注对象进行标注，得到第二监督数据。再利用经过人工标注得到的第一监督数据和经过全监督语义分割模型标注得到的第二监督数据训练半监督语义分割模型，并利用半监督语义分割模型对第一图像、第二图像和随机扰动项进行识别，得到第三监督数据。最后通过第一、第二和第三监督数据对半监督语义分割模型再次训练。CN111898613ACN111898613A权利要求书1/4页1.半监督语义分割模型训练方法，所述半监督语义分割模型用于对图像中的待标注对象进行标注；包括：获得每一张第一图像的第一监督数据；每一张第一图像的第一监督数据为针对该第一图像中的待标注对象进行人工标注后得到的数据；利用各第一监督数据训练全监督语义分割模型；将至少一张第二图像输入所述全监督语义分割模型；其中，每一张第二图像中包括待标注对象；由所述全监督语义分割模型对每一张第二图像中的待标注对象进行标注，获得每一张第二图像的第二监督数据；利用各第一监督数据和各第二监督数据训练所述半监督语义分割模型；生成随机扰动项；将至少一张所述第一图像、至少一张所述第二图像和所述随机扰动项输入所述半监督语义分割模型，获得每一张图像的第三监督数据；所述每一张图像的第三监督数据为由所述半监督语义分割模型对该图像中的待标注对象进行标注后得到的数据；利用各第三监督数据、各第一监督数据和各第二监督数据，对所述半监督语义分割模型进行训练。2.根据权利要求1所述的方法，其中，所述随机扰动项的个数为至少两个；所述将至少一张所述第一图像、至少一张所述第二图像和所述随机扰动项输入所述半监督语义分割模型，获得每一张图像的第三监督数据，包括：针对每一个随机扰动项，将至少一张所述第一图像、至少一张所述第二图像和该随机扰动项输入所述半监督语义分割模型，获得在输入该随机扰动项时至少一张所述第一图像和至少一张所述第二图像中的每一张图像的第三监督数据；所述利用各第三监督数据、各第一监督数据和各第二监督数据，对所述半监督语义分割模型进行训练，包括：针对所述每一张图像，计算在输入不同随机扰动项时所获得的不同的第三监督数据之间的差异，得到该图像的第一监督损失；针对每一张第一图像，计算该第一图像的第三监督数据与该第一图像的第一监督数据之间的差异，得到该第一图像的第二监督损失；针对每一张第二图像，计算该第二图像的第三监督数据与该第二图像的第二监督数据之间的差异，得到该第二图像的第二监督损失；利用得到的各第一监督损失和各第二监督损失，对所述半监督语义分割模型进行训练。3.根据权利要求1所述的方法，其中，所述获得每一张第一图像的第一监督数据，包括：对人工标注后的每一张第一图像进行切分，得到该第一图像对应的至少两张切分图像，其中，相邻的两张所述切分图像存在重叠区域；分别对每一张所述切分图像进行去差异化处理，从去差异化处理后得到的两张切分图像中得到该第一图像的第一监督数据。4.根据权利要求3所述的方法，其中，所述分别对每一张所述切分图像进行去差异化处理，包括：2CN111898613A权利要求书2/4页针对每一张所述切分图像，确定该切分图像的至少两个图像通道分别对应的至少两个第一图像通道属性值以及对该至少两个第一图像通道属性值进行求平均值计算，得到该切分图像对应的第一平均值；对各切分图像对应的各第一平均值进行求平均值计算，得到第二平均值；针对每一张所述切分图像，利用该切分图像的至少两个第一图像通道属性值和所述第二平均值，计算该切分图像对应的方差；计算各切分图像对应的各方差的第三平均值；将每一张所述切分图像的每一个图像通道对应的图像通道属性值从第一图像通道属性值更新为第二图像通道属性值；其中，所述第二图像通道属性值