一种语义分割模型的训练方法、装置、设备和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113971727A(43)申请公布日2022.01.25(21)申请号202111227554.1(22)申请日2021.10.21(71)申请人京东鲲鹏(江苏)科技有限公司地址215500江苏省苏州市常熟市东南街道云深路2号(72)发明人徐鑫(74)专利代理机构北京品源专利代理有限公司11332代理人蔡舒野(51)Int.Cl.G06V10/25(2022.01)G06V10/26(2022.01)G06N3/04(2006.01)权利要求书3页说明书14页附图6页(54)发明名称一种语义分割模型的训练方法、装置、设备和介质(57)摘要本发明实施例公开了一种语义分割模型的训练方法、装置、设备和介质，该方法包括：基于第一样本图像和第一样本图像对应的图像类别标签，对第一语义分割模型进行训练；将第二样本图像输入至训练结束后的第一语义分割模型，根据训练结束后的第一语义分割模型的输出，获得第二样本图像对应的第一像素语义标签；基于第二样本图像对应的显著图，对第一像素语义标签进行修正，确定修正后的第二像素语义标签；基于第二样本图像和第二像素语义标签对第二语义分割模型进行训练，并将训练结束后的第二语义分割模型作为目标语义分割模型。通过本发明实施例的技术方案，可以降低语义分割模型对密集标注数据的依赖，降低数据标注的压力。CN113971727ACN113971727A权利要求书1/3页1.一种语义分割模型的训练方法，其特征在于，包括：基于第一样本图像和所述第一样本图像对应的图像类别标签，对第一语义分割模型进行训练；将第二样本图像输入至训练结束后的第一语义分割模型，根据所述训练结束后的第一语义分割模型的输出，获得所述第二样本图像对应的第一像素语义标签；基于所述第二样本图像对应的显著图，对所述第一像素语义标签进行修正，确定修正后的第二像素语义标签；基于所述第二样本图像和所述第二像素语义标签对第二语义分割模型进行训练，并将训练结束后的第二语义分割模型作为目标语义分割模型。2.根据权利要求1所述的方法，其特征在于，所述基于第一样本图像和所述第一样本图像对应的图像类别标签，对第一语义分割模型进行训练，包括：将第一样本图像输入至第一语义分割模型中，根据所述第一语义分割模型的输出，确定所述第一样本图像中的每个第一像素点预测为每个语义标签的概率值，其中，所述语义标签包括：与所述第一样本图像对应的图像类别标签相同的第一语义标签以及与所述图像类别标签不同的第二语义标签；对每个所述第一语义标签对应的各个概率值进行池化操作，确定所述第一语义标签对应的目标概率值；对每个所述第二语义标签对应的各个概率值进行池化操作，确定所述第二语义标签对应的目标概率值；基于第一损失函数，根据所述第一语义标签对应的目标概率值和所述第二语义标签对应的目标概率值，确定第一训练误差，并将所述第一训练误差反向传播至所述第一语义分割模型，调整所述第一语义分割模型中的网络参数，直至达到预设收敛条件时训练结束。3.根据权利要求2所述的方法，其特征在于，所述对每个所述第一语义标签对应的各个概率值进行池化操作，确定所述第一语义标签对应的目标概率值，包括：针对每个所述第一语义标签，将所述第一样本图像中预测为所述第一语义标签的各个第一像素点所对应的概率值进行平均池化操作，确定出所述第一语义标签对应的目标概率值。4.根据权利要求2所述的方法，其特征在于，所述对每个所述第二语义标签对应的各个概率值进行池化操作，确定所述第二语义标签对应的目标概率值，包括：针对每个所述第二语义标签，将所述第一样本图像中预测为所述第二语义标签的各个第一像素点所对应的概率值进行最大池化操作，确定出所述第二语义标签对应的目标概率值。5.根据权利要求2所述的方法，其特征在于，所述语义标签还包括：所述第一样本图像对应的图像背景类别，所述图像背景类别作为所述第一语义标签。6.根据权利要求2所述的方法，其特征在于，基于如下第一损失函数确定第一训练误差：2CN113971727A权利要求书2/3页其中，loss1为第一训练误差；为所述第一语义标签c+对应的目标概率值；为所述第二语义标签c‑对应的目标概率值；|c+|为所述第一语义标签的数量；|c‑|为所述第二语义标签c‑的数量。7.根据权利要求1所述的方法，其特征在于，所述基于所述第二样本图像对应的显著图，对所述第一像素语义标签进行修正，确定修正后的第二像素语义标签，包括：确定所述第二样本图像对应的显著图中的前景区域与所述第一像素语义标签所对应的物体区域之间的重叠区域；将所述重叠区域中的每个像素点对应的所述第一像素语义标签和所述显著图中的背景区域中的每个像素点对应的背景标签组合为修正后的第二像素语义标签。8.根据权利要求