语义分割模型训练方法及装置、图像语义分割方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112232346A(43)申请公布日2021.01.15(21)申请号202010912041.3(22)申请日2020.09.02(71)申请人北京迈格威科技有限公司地址100080北京市海淀区科学院南路2号融科资讯中心A座316-318申请人成都旷视金智科技有限公司(72)发明人赵姗王氚刘帅成(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人李英艳李志新(51)Int.Cl.G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书11页附图6页(54)发明名称语义分割模型训练方法及装置、图像语义分割方法及装置(57)摘要本公开提供了一种语义分割模型训练方法、图像语义分割方法、语义分割模型训练装置、图像语义分割装置、电子设备和计算机可读存储介质，其中语义分割模型训练方法包括：获取训练集，训练集包括图像以及对应的标注信息；将图像进行特征提取，得到图像的特征数据；基于特征数据，得到第一分割框信息以及第一语义分割信息；基于特征数据、第一分割框信息以及第一语义分割信息，得到图像的第二分割框信息以及第二语义分割信息；基于第二分割框信息与标注信息、和/或基于第二语义分割信息与标注信息，确定损失值；基于损失值，调整语义分割模型的参数。语义分割模型训练方法能够方便获取训练数据，从而通过大量的、高质量的数据能够提高训练效果。CN112232346ACN112232346A权利要求书1/3页1.一种语义分割模型训练方法，其中，所述方法包括：获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；将所述图像进行特征提取，得到所述图像的特征数据；基于所述特征数据，得到第一分割框信息以及第一语义分割信息；基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；基于所述损失值，调整所述语义分割模型的参数。2.根据权利要求1所述的语义分割模型训练方法，其中，所述语义分割模型包括：分割框解码单元以及语义解码单元；所述基于所述特征数据，得到第一分割框信息以及第一语义分割信息，包括：基于所述特征数据，通过所述分割框解码单元进行解码，得到所述第一分割框信息；基于所述特征数据，通过所述语义解码单元进行解码，得到所述第一语义分割信息。3.根据权利要求2所述的语义分割模型训练方法，其中，所述基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息，包括：基于所述特征数据以及所述第一语义分割信息，通过所述分割框解码单元进行解码，得到所述第二分割框信息；基于所述特征数据以及所述第一分割框信息，通过所述语义解码单元进行解码，得到所述第二语义分割信息。4.根据权利要求1所述的语义分割模型训练方法，其中，所述语义分割模型还包括：编码单元；所述将所述图像进行特征提取，得到所述图像的特征数据，包括：基于所述图像，通过所述编码单元进行编码，得到所述图像的特征数据。5.根据权利要求1-4任一项所述的语义分割模型训练方法，其中，所述损失值包括第一损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：若所述图像对应的标注信息仅包括所述分割框标注，则基于所述分割框标注以及所述第二分割框信息，确定所述第一损失值；若所述图像对应的标注信息仅包括所述语义分割标注，则基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值；若所述图像对应的标注信息包括所述分割框标注和所述语义分割标注，则基于所述分割框标注以及所述第二分割框信息、且基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值。6.根据权利要求5所述的语义分割模型训练方法，其中，所述损失值包括第二损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与2CN112232346A权利要求书2/3页所述标注信息，确定损失值，包括：若所述图像对应的标注信息包括所述分割框标注，则基于所述第二语义分割信息以及所述分割框标注，确定所述第二损失值；若所述图像对应的标注信息不包括所述分割框标注，则基于所述第二语义分割信息以及所述第二分割框信息，确定所述第二损失值。7.根据权利要求5所述的语义分割模型训练方法，其中，所述损失值包括第三损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确