用于处理人物图像的方法和设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113283372A(43)申请公布日2021.08.20(21)申请号202110641759.8(22)申请日2021.06.09(71)申请人戴姆勒股份公司地址德国斯图加特(72)发明人支蓉郭子杰张武强王宝锋(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人慕弦(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书8页附图5页(54)发明名称用于处理人物图像的方法和设备(57)摘要本发明涉及计算机视觉领域及自动驾驶领域。本发明提供一种用于处理人物图像的方法，所述方法包括以下步骤：提供用于训练人物图像生成模型的原始人物图像；结合注意力机制从原始人物图像提取第一特征向量和第二特征向量，所述第一特征向量不同于第二特征向量；借助人物图像生成模型的生成网络，基于第一特征向量和第二特征向量合成新的人物图像。本发明还提供用于借助人物图像生成模型来生成人物图像的方法，一种用于处理人物图像的设备和一种计算机程序产品。本发明旨在通过引入注意力机制使编码器更好地提取有用特征，并且还提供了一条基于隐空间一致性的路径，能够帮助生成网络在无需配对标注数据的情况下完成特定人物外观的合理约束。CN113283372ACN113283372A权利要求书1/2页1.一种用于处理人物图像的方法，所述方法包括以下步骤：S1：提供用于训练人物图像生成模型的原始人物图像；S2：结合注意力机制从原始人物图像提取第一特征向量(610)和第二特征向量(606)，所述第一特征向量(610)不同于第二特征向量(606)；以及S3：借助人物图像生成模型的生成网络，基于第一特征向量(610)和第二特征向量(606)合成新的人物图像(612)。2.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：S4：将原始人物图像和新的人物图像(612)作为条件信息输入到人物图像生成模型的判别网络中判别真假；S5：计算预设的损失函数；以及S6：判断对人物图像生成模型的训练是否达到预设的训练步数，如果没有达到预设的训练步数，则将损失函数更新梯度反向传播至人物图像生成模型的网络参数中，并继续训练人物图像生成模型；如果达到预设的训练步数，则结束对人物图像生成模型的训练。3.根据权利要求1或2所述的方法，其中，所述步骤S2包括：S21：借助预训练的姿态检测模型检测原始人物图像的姿态关键点，将姿态关键点拼接和可视化成人物姿态图像；以及S22：将人物姿态图像输入到人物图像生成模型的第一特征提取网络(609)中，以得到关于目标人物姿态的第一特征向量(610)。4.根据权利要求3所述的方法，其中，所述步骤S2还包括：S23：基于所检测的关键点从原始人物图像裁切出包含完整人物轮廓以及周边背景的图像块；S24：将所述图像块输入到人物图像生成模型的第二特征提取网络(603)中；以及S25：借助注意力机制、尤其CBAM注意力机制对人物前景背景与人物姿态进行解耦，以得到关于目标人物前景背景的第二特征向量(606)。5.根据权利要求4所述的方法，其中，在步骤S25中，根据图像块的空间信息和通道信息筛选出待提取的特征向量，并且主动忽略不相关部分。6.根据权利要求1至5中任一项所述的方法，其中，所述方法还包括以下步骤：生成原始人物图像的前景背景特征在隐空间中的第一表达；生成新的人物图像(612)的前景背景特征在隐空间中的第二表达；以及在隐空间中衡量所述第一表达和所述第二表达之间的一致性。7.根据权利要求6所述的方法，其中，对人物图像生成模型使用的损失函数包括隐向量一致性损失，其通过以下等式表示：2Lz＝Ez(z‑z′)其中，z是原始人物图像经过特征提取之后得到的第二特征向量(606)，z′是所合成的新的人物图像(612)经过特征提取之后得到的新的第二特征向量(606)，Ez表示期望。8.一种用于借助人物图像生成模型(505)来生成人物图像的方法，所述人物图像生成模型(505)借助根据权利要求1至7中任一项所述的方法所训练，所述方法包括以下步骤：提供第一原始人物图像(502)和第二原始人物图像(503)；以及将第一原始人物(502)和第二原始人物图像(503)输入到经训练的人物图像生成模型2CN113283372A权利要求书2/2页(505)中以合成新的人物图像(504)，所述新的人物图像(504)具有第一原始人物图像(502)的前景背景以及第二原始人物图像(503)的人物姿态。9.一种用于处理人物图像的设备(100)，所述设备(100)包括处理器(10)和与处理器(10