一种基于深度学习的本征图像分解方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108416805A(43)申请公布日2018.08.17(21)申请号201810201866.7(22)申请日2018.03.12(71)申请人中山大学地址510275广东省广州市海珠区新港西路135号(72)发明人韩广云谢晓华郑伟诗(74)专利代理机构广州粤高专利商标代理有限公司44102代理人林丽明(51)Int.Cl.G06T7/62(2017.01)权利要求书4页说明书11页附图4页(54)发明名称一种基于深度学习的本征图像分解方法及装置(57)摘要本发明公开一种基于深度学习的本征图像分解方法及装置，其中该方法包括在若干3D模型中选取3D模型加载入基于物理的渲染器，随机设置光照，任取视角渲染图片，并通过渲染器获取对应的反射成分和光照成分，以此重复操作，生成大批量的有标注本征图分解的数据集；利用所生成的数据集将全卷积神经网络训练成本征图分解网络；对本征图分解网络进行应用，由预测输出的分解结果，得到期望输出的分解目标。本发明提出的本征图分解方法允许通过图形渲染的方式获取大批量有标注数据集，通过训练深度神经网络，获取鲁棒性良好的分解模型；通过应用损失网络，进一步提高泛化性能并且避免了损失函数的设计困难。CN108416805ACN108416805A权利要求书1/4页1.一种基于深度学习的本征图像分解方法，其特征在于，包括如下步骤：S10在若干3D模型中选取3D模型加载入基于物理的渲染器，随机设置光照，任取视角渲染图片，并通过渲染器获取对应的反射成分和光照成分，以此重复操作，生成大批量的有标注本征图分解的数据集；S20利用所生成的数据集将全卷积神经网络训练成本征图分解网络；S30对本征图分解网络进行应用，由预测输出的分解结果，得到期望输出的分解目标。2.如权利要求1所述的基于深度学习的本征图像分解方法，其特征在于，所述S20包括：S201计算像素误差：采用(3)，以衡量预测值和真实值之间像素误差，其中表示像素误差，是预测输出的分解结果，y是期望输出的分解目标，即生成的数据集对应的真实值，n是有效像素数，i是任意一个有效像素,λ∈0-1之间的实数，为权重，可调；S202计算特征误差：采用(4)，以用损失网络φ的第l层对应的特征图φl来衡量特征误差，其中表示特征的相似度，l是选取的网络层，φl为其对应的特征图，Cl为对应这个特征图的通道数，Hl为对应这个特征图的高度，Wl为对应这个特征图的宽度；S203计算风格相似度对应的误差：采用(5)，以通过Gram矩阵来衡量风格相似度，其中表示损失网络的第l层对应的Gram矩阵的第i行第j列上的元素，φ′l，i表示特征图φl中的第i个通道对应的特征，并将这个矩阵φl，i按任意固定方式拉伸为向量，则风格相似度对应的误差如公式6所示：S204结合特征误差和风格相似度对应的误差计算感知误差：采用其中Lf和Ls表示选用的用于衡量感知误差的激活层，wl∈0-1之间的实数,为权重，可调；S205通过梯度对应的Frobenius范数的比值对误差进行加权，以平衡各误差所带来的梯度大小不平衡所造成的训练不稳定，采用2CN108416805A权利要求书2/4页训练全卷积神经网络ψ。3.如权利要求2所述的基于深度学习的本征图像分解方法，其特征在于，所述S20之后还包括：采用对训练后的全卷积神经网络ψ进行优化，其中损失网络φ的参数不更新，全卷积神经网络ψ参数更新。4.如权利要求3所述的基于深度学习的本征图像分解方法，其特征在于，所述更新全卷积神经网络ψ参数时采用ADAM优化器。5.如权利要求1所述的基于深度学习的本征图像分解方法，其特征在于，所述S30包括：S301令数据集中任一图像为I，其对应的反射成分为R，对应的光照成分为L，根据Lambertian光照模型，满足以下条件：I＝R⊙L(1)，该函数为图像I等于R和L的逐点乘积；S302利用全卷积神经网络ψ，达到：的目的，其中是预测输出的分解结果，ψ是本征图分解网络，X是网络的实际输入图像，y是期望输出的分解目标，即生成的数据集对应的真实值，若分解目标为反射成分R，则同理，对于L成分6.如权利要求1所述的基于深度学习的本征图像分解方法，其特征在于，所述在若干3D模型中选取3D模型的条件是：选取合理建模的，贴图中不带光照效果的3D模型。7.如权利要求1所述的基于深度学习的本征图像分解方法，其特征在于，所述S10中随机设置光照，任取视角渲染图片之后还包括：S01模拟深度传感器，产生具有Kinect噪声特征的深度图，以此重复操作。8.一种基于深度学习的本征图像分解装置，其特征在于，包括：数据集生成模块，用于在若干3D模型中选取3D模型加载入基于物理的渲染器，随机设置光照，任取视角渲染图片