用于人物图像处理的方法、系统和程序载体.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112232221A(43)申请公布日2021.01.15(21)申请号202011118576.XG06N3/08(2006.01)(22)申请日2020.10.19(71)申请人戴姆勒股份公司地址德国斯图加特(72)发明人支蓉张武强(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人慕弦(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06T7/11(2017.01)G06T7/194(2017.01)G06T5/00(2006.01)G06N3/04(2006.01)权利要求书2页说明书8页附图4页(54)发明名称用于人物图像处理的方法、系统和程序载体(57)摘要本发明涉及计算机视觉领域及自动驾驶领域。一种用于人物图像处理的方法，所述方法包括以下步骤：获取原始人物图像；从原始人物图像提取第一特征信息和第二特征信息，所述第二特征信息不同于所述第一特征信息；以及，基于所述第一特征信息和第二特征信息，在结合使用变分自编码器和生成对抗网络的情况下训练所述人物图像生成模型。本发明还提供一种借助人物图像生成模型生成人物图像的方法、一种用于人物图像处理的系统和一种机器可读程序载体。本发明旨在结合考虑GAN和VAE的情况下对人物图像的不同特征信息之间的影响进行建模，并且利用不同特征的自动解耦优化人物图像生成模型的训练过程。CN112232221ACN112232221A权利要求书1/2页1.一种用于人物图像处理的方法，所述方法包括以下步骤：S1：获取原始人物图像；S2：从原始人物图像提取第一特征信息和第二特征信息，所述第二特征信息不同于所述第一特征信息；以及S3：基于所述第一特征信息和第二特征信息，在结合使用变分自编码器和生成对抗网络的情况下训练人物图像生成模型。2.根据权利要求1所述的方法，其中，所述步骤S3包括：S31：基于第一特征信息和第二特征信息，借助生成对抗网络的生成式网络生成复原人物图像，其中，使用变分自编码器与U-Net网络的组合作为所述生成式网络；S32：将复原人物图像和原始人物图像输入到生成对抗网络的判别式网络中判别真伪；S33：根据复原人物图像与原始人物图像之间的偏差调整人物图像生成模型的至少一个参数。3.根据权利要求1或2所述的方法，其中，所述步骤S2包括：借助变分自编码器网络和/或U-Net网络从原始人物图像提取人物姿态特征向量和人物外观特征向量。4.根据权利要求1至3中任一项所述的方法，在执行步骤S2之前，所述方法还包括以下步骤：从原始人物图像中分割出人物区域；在所述人物区域中提取人物关键点信息；对人物关键点信息进行拼接和可视化处理，以得到人物姿态图像。5.根据权利要求2所述的方法，其中，所述步骤S33包括：基于复原人物图像以及判别式网络的判别结果计算损失函数；以及根据所述损失函数调整人物图像生成模型的至少一个参数。6.根据权利要求5所述的方法，其中，对生成式网络使用的损失函数包括：第一部分，所述第一部分通过以下等式表示：其中，F为VGG19网络特征参数，X为输入的原始人物图像，为生成的复原人物图像，{lc}为VGG19对应的特征层；第二部分，所述第二部分通过以下等式表示：其中，X为输入的原始人物图像，Y为输入的人物姿态图像，z为提取到的图像整体特征，和分别表示在所使用的特征提取网络的中间层得到的未经采样的特征向量；第三部分，所述第三部分通过以下等式表示：其中，F为VGG19网络特征参数，G为VGG19网络特征参数的格拉姆矩阵，X为输入的原始人物图像，为生成的复原人物图像，{lS}为VGG19对应的特征层；第四部分，所述第四部分通过以下等式表示：2CN112232221A权利要求书2/2页其中，D为判别式网络的网络特征参数，X为输入的原始人物图像，为生成的复原人物图像，{lD}为判别式网络对应的特征层。7.根据权利要求5所述的方法，其中，对判别式网络使用的损失函数通过以下等式表示：其中，X为输入的原始人物图像，为生成的复原人物图像，Y为输入的人物姿态图像，EX，Y和分别表示期望，Dis(X，Y)和分别表示判别式网络的输出结果。8.一种用于借助人物图像生成模型生成人物图像的方法，其中，所述人物图像生成模型为根据权利要求1至7中任一项所述的方法中所述的人物图像生成模型，所述方法包括以下步骤：获取第一人物图像的特征信息；获取第二人物图像的另一特征信息；以及将所述特征信息和所述另一特征信息输入到人物图像生成模型中，以生成目标人物图像，其中，所述目标人物图像具有第一人物图像的特征信息并且具有第二人物图像的另一特征信息。9.一种用于人物图像处理的系统，所述系统用于执行根据权利要求1至7中任