用于图像分割的生成对抗网络.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114175109A(43)申请公布日2022.03.11(21)申请号202080052479.7(74)专利代理机构北京律盟知识产权代理有限(22)申请日2020.07.26责任公司11287代理人蒋林清(30)优先权数据1910720.02019.07.26GB(51)Int.Cl.G06V20/56(2022.01)(85)PCT国际申请进入国家阶段日G06V10/26(2022.01)2022.01.20G06V10/764(2022.01)(86)PCT国际申请的申请数据G06V10/82(2022.01)PCT/EP2020/0710682020.07.26G06K9/62(2022.01)(87)PCT国际申请的公布数据G06T7/11(2017.01)WO2021/018811EN2021.02.04G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人通腾全球信息公司地址荷兰阿姆斯特丹(72)发明人M·加富里安L·萨姆森O·博伊权利要求书2页说明书12页附图9页(54)发明名称用于图像分割的生成对抗网络(57)摘要本发明涉及一种训练用于执行图像语义分割的生成对抗网络的方法。所述生成对抗网络包含生成器神经网络和评判者神经网络。所述方法包含：使用所述生成器神经网络以从输入图像生成预测图像分割图，其中每个预测图像分割图包含对相应输入图像的多个像素中的每个像素的分类预测；将由所述生成器神经网络生成的预测图像分割图提供给所述评判者神经网络；训练所述评判者神经网络以确定由所述生成器神经网络生成的预测图像分割图的相应像素的权重，其中每个像素的所述权重用于对所述评判者神经网络的目标函数中的像素级交叉熵项进行加权；以及使用由所述评判者神经网络确定的所述权重来训练所述生成器神经网络。CN114175109ACN114175109A权利要求书1/2页1.一种训练用于执行图像语义分割的生成对抗网络的方法，其中所述生成对抗网络包括：生成器神经网络；和评判者神经网络，所述方法包括：使用所述生成器神经网络以从输入图像生成预测图像分割图，其中每个预测图像分割图包括对相应输入图像的多个像素中的每个像素的分类预测；将由所述生成器神经网络生成的一或多个预测图像分割图提供给所述评判者神经网络；训练所述评判者神经网络以确定由所述生成器神经网络生成的预测图像分割图的相应像素的权重，其中每个像素的所述权重用于对所述评判者神经网络的目标函数中的像素级交叉熵项进行加权；和使用由所述评判者神经网络确定的所述权重来训练所述生成器神经网络。2.根据任一前述权利要求所述的方法，其包括执行极小极大训练过程以训练所述评判者神经网络和所述生成器神经网络。3.根据任一前述权利要求所述的方法，其包括对于预测图像分割图，通过在所述预测图像分割图的所有像素上计算每个像素的所述权重与所述相应像素的交叉熵损失项的乘积的和而评估所述评判者神经网络的所述目标函数。4.根据任一前述权利要求所述的方法，其包括使用随着所述评判者目标函数增大而减小的生成器目标函数来训练所述生成器神经网络。5.根据任一前述权利要求所述的方法，其中预测图像分割图上的所有所述权重的和被限制为阈值量。6.根据任一前述权利要求所述的方法，其包括通过将S型函数应用于在所述评判者神经网络内生成的一组中间权重值来确定所述权重。7.根据任一前述权利要求所述的方法，其中确定所述权重包括将空间平滑函数应用于在所述评判者神经网络内生成的一组中间权重值。8.根据任一前述权利要求所述的方法，其中所述评判者神经网络仅接收输入图像和图像分割图作为顺推输入。9.根据任一前述权利要求所述的方法，其中所述输入图像是街道场景的摄影图像，并且其中所述方法包括训练所述生成对抗网络以对所述街道场景中的物体进行分类。10.一种实施用于执行图像语义分割的生成对抗网络的计算机处理系统，其中所述生成对抗网络包括：生成器神经网络；鉴别器神经网络；和训练逻辑，并且其中所述训练逻辑被配置成：操作所述生成器神经网络以从输入图像生成预测图像分割图，其中每个预测图像分割图包括对相应输入图像的多个像素中的每个像素的分类预测；将由所述生成器神经网络生成的一或多个预测图像分割图提供给所述评判者神经网2CN114175109A权利要求书2/2页络；训练所述评判者神经网络以确定由所述生成器神经网络生成的预测图像分割图的相应像素的权重，其中每个像素的所述权重用于对所述评判者神经网络的目标函数中的像素级交叉熵项进行加权；和使用由所述评判者神经网络确定的所述权重来训练所述生成器神经网络。11.根据权利要求10所述的计算机处理系统，其中所述训练逻辑被配置成对于预测图像分割图，通过在所述预