用于生成行人图像的方法和装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112257548A(43)申请公布日2021.01.22(21)申请号202011118547.3(22)申请日2020.10.19(71)申请人戴姆勒股份公司地址德国斯图加特(72)发明人张武强(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人杨胜军(51)Int.Cl.G06K9/00(2006.01)G06K9/34(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书5页附图1页(54)发明名称用于生成行人图像的方法和装置及存储介质(57)摘要本发明涉及一种用于生成行人图像的方法，该方法包括：获取场景区域的图像数据集，并对图像数据的场景区域进行分类，其中，场景区域按照语义被分类为行人可行区域和其它区域；利用训练数据和场景区域分类信息训练图像区域分割模型；获取目标背景图像；利用经训练的图像区域分割模型对目标背景图像进行语义分割，从而得到目标背景图像的行人可行区域并将其输出；获取目标行人图像；在行人可行区域中确定目标行人图像的合成位置；将目标行人图像合成到目标背景图像中。本发明还涉及一种相应的装置和一种机器可读存储介质。CN112257548ACN112257548A权利要求书1/1页1.一种用于生成行人图像的方法，所述方法包括以下步骤：获取场景区域的图像数据集，并对图像数据的场景区域进行分类，其中，所述场景区域按照语义被分类为行人可行区域和其它区域；利用训练数据和场景区域分类信息训练图像区域分割模型；获取目标背景图像；利用经训练的图像区域分割模型对所述目标背景图像进行语义分割，从而得到所述目标背景图像的行人可行区域并将其输出；获取目标行人图像；在所述行人可行区域中确定所述目标行人图像的合成位置；以及将所述目标行人图像合成到所述目标背景图像中。2.根据权利要求1所述的方法，其中，所述在所述行人可行区域中确定所述目标行人图像的合成位置包括以下步骤：提取所述目标行人图像的合成位置的深度信息，根据所述深度信息确定所述目标行人图像的合理尺寸；以及根据所述目标行人图像的合成位置和尺寸将所述目标行人图像合成到所述目标背景图像中。3.根据权利要求1或2所述的方法，其中，所述方法还包括以下步骤：以朝自然逼真的方向对合成的图像进行优化，其中，对合成的图像的优化基于对抗生成式网络模型或者通过图像高斯滤波器实施。4.根据权利要求1-3中任一所述的方法，其中，所述图像区域分割模型是U-Net网络结构。5.根据权利要求2所述的方法，其中，所述深度信息借助深度传感器被提取。6.根据权利要求1-5中任一所述的方法，其中，所述方法用于自动驾驶场景下的行人图像合成。7.一种用于生成行人图像的装置，所述装置包括：可行区域获取单元，其用于对目标背景图像进行语义分割并得到行人可行区域；目标行人图像获取单元，其用于获取目标行人图像；以及合成单元，其用于将目标行人图像合成到所述目标背景图像中。8.根据权利要求7所述的装置，其中，所述装置还包括：深度获取单元，其用于获取所述目标背景图像的行人可行区域内的深度信息，以便输出到合成单元；和/或图像优化单元，其用于以朝自然逼真的方向对合成的图像进行优化。9.根据权利要求8所述的装置，其中，所述可行区域获取单元是基于U-Net网络结构的图像区域分割模型，和/或，所述图像优化单元是基于对抗生成式网络模型的图像生成模型或者是图像高斯滤波器。10.一种机器可读存储介质，在其上存储有程序指令，当所述程序指令由处理器执行时用于执行根据权利要求1至6之一所述的方法。2CN112257548A说明书1/5页用于生成行人图像的方法和装置及存储介质技术领域[0001]本发明涉及计算机技术领域及自动驾驶领域。具体地，本发明涉及一种用于尤其在自动驾驶场景下生成行人图像的方法和装置。背景技术[0002]人工神经网络(英文：ArtificialNeuralNetwork，缩写：ANN)是一种模仿动物神经网络行为特征的、通过对大量数据的分布式并行信息处理来学习数据特征的算法数学模型。人工神经网络依靠系统的复杂程度、通过调整内部多个节点之间的相互关系实现处理信息的目的，并且具有自学习和自适应的能力。[0003]在此，人工神经网络也可以用来学习生成目标图像。尽管现有生成式网络可以生成高质量的人物图像，但现有的生成式网络没有对背景进行语义识别分析，无法确保生成的图像的语义信息以及物理合理性，使得生成的图像不自然逼真。在自动驾驶场景下生成行人图像的情况下，现有的生成式模型无法确定在背景中合成的行人的合理位置和尺寸，因而合成的行人图像可能会出现在天空、树上等不合理的区域中，或者合成的