神经网络的训练、图像语义分割方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111489366A(43)申请公布日2020.08.04(21)申请号202010296170.4(22)申请日2020.04.15(71)申请人上海商汤临港智能科技有限公司地址200232上海市浦东新区泥城镇秋山路1775弄29、30号2楼01室(72)发明人周千寓程光亮石建萍马利庄(74)专利代理机构北京中知法苑知识产权代理有限公司11226代理人李明赵吉阳(51)Int.Cl.G06T7/11(2017.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书17页附图7页(54)发明名称神经网络的训练、图像语义分割方法及装置(57)摘要本公开提供了一种神经网络的训练、图像语义分割、智能设备控制方法、装置、电子设备及存储介质，其中，该神经网络的训练方法包括：基于前一轮训练完成的神经网络确定第一图像样本的伪标注语义类别信息；根据有伪标注语义类别信息的第一图像样本、以及有标注语义类别信息的第二图像样本，对前一轮完成的神经网络进行本轮训练，得到本轮训练后的神经网络；重复执行上述步骤，直到满足训练截止条件，得到训练完成的神经网络。上述方案利用加入了部分未标注的图像样本实现自训练学习，降低了人工成本，提升了神经网络训练的效率。CN111489366ACN111489366A权利要求书1/3页1.一种神经网络的训练方法，其特征在于，所述方法包括：基于前一轮训练完成的神经网络确定第一图像样本的伪标注语义类别信息；根据有伪标注语义类别信息的第一图像样本、以及有标注语义类别信息的第二图像样本，对所述前一轮完成的神经网络进行本轮训练，得到本轮训练后的神经网络；重复执行上述步骤，直到满足训练截止条件，得到训练完成的神经网络。2.根据权利要求1所述的方法，其特征在于，所述基于前一轮训练完成的神经网络确定第一图像样本的伪标注语义类别信息，包括：利用所述前一轮训练完成的神经网络确定所述第一图像样本中每个图像像素点属于多种预设语义类别中每种预设语义类别的概率；针对所述第一图像样本的每个图像像素点，基于该图像像素点属于多种预设语义类别中每种预设语义类别的概率，将概率最大的预设语义类别作为该图像像素点的目标语义类别；基于所述第一图像样本的各个图像像素点的目标语义类别的概率，从所述各个图像像素点中筛选出需要标注的目标图像像素点，并将筛选出的目标图像像素点的目标语义类别，作为所述伪标注语义类别信息。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像样本的各个图像像素点的目标语义类别的概率，从所述各个图像像素点中筛选出需要标注的目标图像像素点，包括：针对所述多种预设语义类别中的每种预设语义类别，将所述第一图像样本的各个图像像素点，按照目标语义类别属于该种预设语义类别的概率由大到小的顺序，选取预设占比的图像像素点；基于选取的预设占比的图像像素点，确定该种预设语义类别对应需要标注的目标图像像素点；将各种预设语义类别对应需要标注的目标图像像素点进行组合，得到从所述各个图像像素点中筛选出的所述目标图像像素点。4.根据权利要求3所述的方法，其特征在于，所述基于选取的预设占比的图像像素点，确定该种预设语义类别对应需要标注的目标图像像素点，包括：针对所述多种预设语义类别中的每种预设语义类别，将所述选取的预设占比的图像像素点中，对应的目标语义类别属于该种预设语义类别的概率大于预设概率阈值的图像像素点，作为该种预设语义类别对应需要标注的目标图像像素点。5.根据权利要求3或4所述的方法，其特征在于，所述预设占比随着所述神经网络训练次数的增多而增大。6.根据权利要求1～5任一所述的方法，其特征在于，所述根据有伪标注语义类别信息的第一图像样本、以及有标注语义类别信息的第二图像样本，对所述前一轮完成的神经网络进行本轮训练，得到本轮训练后的神经网络，包括：将所述第一图像样本输入至所述前一轮训练完成的神经网络中，基于第一神经网络输出结果以及确定的所述伪标注语义类别信息，确定第一损失信息；以及，将所述第二图像样本输入至所述前一轮训练完成的神经网络中，基于第二神经网络输出结果以及所述标注语义类别信息，确定第二损失信息；基于所述第一损失信息和所述第二损失信息，调整所述前一轮训练完成的神经网络的2CN111489366A权利要求书2/3页参数值，得到本轮训练后的神经网络。7.根据权利要求6所述的方法，其特征在于，所述基于第一神经网络输出结果以及确定的所述伪标注语义类别信息，确定第一损失信息，包括：基于所述第一神经网络输出结果以及确定的所述伪标注语义类别信息，确定所述伪标注语义类别信息与所述第一神经网络输出结果之间的第一交叉熵损失；以及，