生成人物图像的方法、训练方法和装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112232220A(43)申请公布日2021.01.15(21)申请号202011118517.2(22)申请日2020.10.19(71)申请人戴姆勒股份公司地址德国斯图加特(72)发明人支蓉张武强方志杰郭子杰(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人杨胜军(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T7/194(2017.01)权利要求书3页说明书8页附图4页(54)发明名称生成人物图像的方法、训练方法和装置及存储介质(57)摘要本发明提出一种用于生成人物图像的神经网络模型的训练方法，神经网络模型包括图像合成网络模型和细节优化网络模型并用于将包含人物的第一图像和第二图像输入至神经网络模型以生成新的人物图像，所述训练方法包括：在第一阶段，获取包含人物的原始图像并输入至图像合成网络模型以生成合成图像，计算第一阶段的损失函数并更新图像合成网络模型的网络参数；以及在第二阶段，获取合成图像，将合成图像输入至细节优化网络模型中得到优化图像，根据优化图像与原始图像计算第二阶段的损失函数并更新细节优化网络模型的网络参数。还提出一种用于生成人物图像的方法、一种计算机可读存储介质以及一种用于训练用于生成人物图像的神经网络模型的装置。CN112232220ACN112232220A权利要求书1/3页1.一种用于生成人物图像的神经网络模型的训练方法，所述神经网络模型用于将包含人物的第一图像和第二图像输入至神经网络模型以生成具有第一图像的特征和第二图像的特征的新的人物图像，所述神经网络模型包括图像合成网络模型和细节优化网络模型，其中，所述训练方法包括下述步骤：在第一阶段，获取包含人物的原始图像，将原始图像输入至图像合成网络模型以生成合成图像，根据合成图像与原始图像计算第一阶段的损失函数并更新图像合成网络模型的网络参数；以及在第二阶段，获取在第一阶段生成的合成图像，将合成图像输入至细节优化网络模型中得到优化图像，根据优化图像与原始图像计算第二阶段的损失函数并更新细节优化网络模型的网络参数。2.根据权利要求1所述的训练方法，其中，第一阶段包括以下步骤：S11：获取包含人物的原始图像；S12：识别原始图像的人物姿态关键点，提取原始图像的人物姿态特征、前景特征和背景特征；S13：将人物姿态特征、前景特征和背景特征输入至图像合成网络模型，以生成合成图像；S14：根据合成图像与原始图像，计算第一阶段的损失函数并更新图像合成网络模型的网络参数；以及S15：判断第一阶段的训练是否结束，若未达到预设的第一训练步数，则将第一阶段的损失函数更新梯度反向传播至图像合成网络模型的网络参数中，并继续训练图像合成网络模型，若达到预设的第一训练步数，则结束第一阶段的训练。3.根据权利要求2所述的训练方法，其中，步骤S12包括在识别原始图像的人物姿态关键点之后：根据人物姿态关键点，从原始图像截取多个前景图像块和多个背景图像块，将所述多个前景图像块和所述多个背景图像块正规化成相同大小，并将正规化后的前景图像块和背景图像块输入特征提取网络以提取前景特征和背景特征；和/或将人物姿态关键点根据真实人物骨架链接方式进行连接并转换成可视化的人物姿态图像，根据人物姿态图像借助于另外的特征提取网络来提取人物姿态特征。4.根据权利要求3所述的训练方法，其中，第一阶段的损失函数包括：第一部分，所述第一部分通过下式表示：其中，F为VGG19网络特征参数，X为输入的原始图像，为合成图像，{lc}为VGG19对应的特征层；第二部分，所述第二部分通过下式表示：其中，X′为前景图像块，X″为背景图像块，Y为人物姿态图像，z为提取到的图像整体特征，和分别代表所使用的特征提取网络的中间层得到的未经采样的特征向量；以及2CN112232220A权利要求书2/3页第三部分，所述第三部分通过下式表示：其中，F为VGG19网络特征参数，G为VGG19网络特征参数的格拉姆矩阵，X为输入的原始图像，为合成图像，{lS}为VGG19对应的特征层，其中，第一阶段的训练目的在于最小化第一阶段的损失函数。5.根据权利要求1-4中任一项所述的训练方法，其中，第二阶段包括以下步骤：S21：获取在第一阶段生成的合成图像；S22：将合成图像输入至细节优化网络，以得到优化图像，所述细节优化网络为生成对抗网络的生成器；S23：将原始图像和优化图像输入至所述判别器以判别真假；S24：计算第二阶段的损失函数并更新网络参数；以及S25：判断第二阶段的训练是否结束，若未达到预设的第二训练步数，则将第二阶段的损失函数更新梯度反向传播至