一种基于生成对抗网络的数据增强方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113487715A(43)申请公布日2021.10.08(21)申请号202110703465.3G06N3/04(2006.01)(22)申请日2021.06.24G06N3/08(2006.01)(71)申请人之江实验室地址310023浙江省杭州市余杭区文一西路1818号人工智能小镇10号楼(72)发明人吴郑华蔡思佳杨彦韬顾建军李特余小康(74)专利代理机构杭州求是专利事务所有限公司33200代理人邱启旺(51)Int.Cl.G06T15/00(2011.01)G06T17/10(2006.01)G06T19/20(2011.01)G06T3/00(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于生成对抗网络的数据增强方法(57)摘要本发明公开了一种基于生成对抗网络的数据增强方法。通过生成对抗网络的特征提取，将车辆图像的深层特征渲染到一个既定的三维立体结构上，完成一幅二维图像到三维立体结构的重构，再进行三维单眼投影，获得其在所需视角的二维图像，完成车辆不同视角图像的生成。本发明在前沿作者的noise‑to‑image的基础上进行了修正尝试，使其完成了从noise‑to‑image到image‑to‑image的转换，在此之后，可以做到定向修改一种特定属性(车辆视角等)，生成新视角的图像。CN113487715ACN113487715A权利要求书1/2页1.一种基于生成对抗网络的数据增强方法，其特征在于，包括：首先提取图像特征，编码至特征空间。然后生成3D骨架，将提取的图像特征融合进3D骨架，渲染生成3D框架。接着进行3D框架的视角回归。再利用三维仿射变换，生成新视角的3D框架。进一步将3D框架降维投影成2D图像。最后通过图像修复模型微调得到最终生成的新视角图像。2.如权利要求1所述基于生成对抗网络的数据增强方法，其特征在于，具体包括以下步骤：(1)给定待处理的原始图像xori，经过一个卷积层构成的特征提取模块，获取其高阶特征attrori：attrori＝Encoder(xori)(2)建立3D骨架，其网络层由三维卷积构成，输入为一个可学习的3维张量input，旨在从input里重建出一个正向的3D骨架。把步骤(1)提取的高阶特征attrori融合渲染进3D骨架，形成一个输入图像的3D框架x3D‑ori：x3D‑ori＝3Dmodel(attrori)(3)把3D框架x3D‑ori输入视角回归模型，进行视角回归任务得到θ1：θ1＝viewregression(x3D‑ori)由于期望最初生成的视角为正向视角(0，90，90)，给出一个损失罚项lossoriview：(4)选定目标新视角θtarget，进行三维仿射变换，生成新视角3D框架x3D‑new：x3D‑new＝Affine(x3D‑ori；θtarget)同时输入x3D‑new到回归模型进行视角回归得到θ2：θ2＝viewregression(x3D‑new)给出新视角的损失罚项lossnewview：(5)进行新视角的3D转2D投影操作，生成图像xnew：xnew＝Projection(x3D‑new)再接入一个图像修复模型进行生成图像微调，最终生成新视角图像xnewview：xnewview＝Repairmode(xnew)(6)为了保证其他属性的不变性，把图像xnewview再次输入到步骤(1)的特征提取模块中提取高阶特征attrnewview：attrnewview＝Encoder(xnewview)给出特征重建损失lossattr：最终总损失为：loss＝lossoriview+lossnewview+lossattr+lossadversarial其中，lossadversarial指代生成对抗网络的对抗损失。3.如权利要求2所述基于生成对抗网络的数据增强方法，其特征在于，步骤(2)中，输入input作为可学习参数，不作为模型正式的输入。4.如权利要求1所述基于生成对抗网络的数据增强方法，其特征在于，所述3D骨架为一2CN113487715A权利要求书2/2页个大致骨架，与提取的图像特征融合后才能形成对应的3D框架，融合方式采用特征拼接或自适应正则化方法等。3CN113487715A说明书1/4页一种基于生成对抗网络的数据增强方法技术领域[0001]本发明属于计算机视觉和图像生成领域，尤其涉及一种基于生成对抗网络的数据增强方法。背景技术[0002]在进行计算机视觉的模型训练时，常常会因为训练数据集不充分导致模型性能不佳，究其原因，是因为手上的训练集在整个样本空间中分布不均匀，只处于整个样本空间的某一特殊流形上，训练样本不能“完美概括”整个样本空间，导致