一种基于自监督学习的光度立体三维重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114998507A(43)申请公布日2022.09.02(21)申请号202210634582.3G06V10/766(2022.01)(22)申请日2022.06.07G06V10/80(2022.01)G06V10/82(2022.01)(71)申请人天津大学G06N3/04(2006.01)地址300072天津市南开区卫津路92号G06N3/08(2006.01)(72)发明人冯伟王英铭张乾万亮(74)专利代理机构天津市北洋有限责任专利代理事务所12201专利代理师程毓英(51)Int.Cl.G06T15/60(2006.01)G06T15/50(2011.01)G06T15/20(2011.01)G06T17/00(2006.01)G06V10/44(2022.01)G06V10/60(2022.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于自监督学习的光度立体三维重建方法(57)摘要本发明涉及一种基于自监督学习的光度立体三维重建方法，包括以下步骤：对目标场景在不同光照条件下进行多次拍摄，得到输入图像集；将输入图像集输入到光度立体模型，得到粗略的法线图恢复结果和每张图像的光照条件；将输入图像集输入到反射图估计模型和阴影估计模型，得到场景的反射图和每张图像的阴影图；根据粗略的法线图恢复结果、光照条件、反射图和阴影图对输入图像进行复原，得到复原图像集；根据输入图像集和复原图像集之间的相似度，以自监督的形式训练光度立体模型，更新光度立体模型参数；将输入图像集输入到更新参数后的光度立体模型，得到经过优化后的法线图恢复结果和每张图像的光照条件；对目标场景进行三维重建。CN114998507ACN114998507A权利要求书1/2页1.一种基于自监督学习的光度立体三维重建方法，其特征在于，包括以下步骤：步骤一，对目标场景在不同光照条件下进行多次拍摄，得到输入图像集K为输入图像的个数；步骤二，将输入图像集输入到光度立体模型，得到粗略的法线图恢复结果和每张图像的光照条件P表示一张图像中的像素数量，1≤k≤K；其中，光度立体模型的结构为一个孪生神经网络，分别对每张输入图像Ik进行特征提取，并使用最大池化操作将K个特征融合为一个尺寸固定的全局特征；依据全局特征和每张输入图像各自的特征分别对每张图像的光照条件进行估计，将全局特征输入到解码器中，回归得到场景的粗略的法线图恢复结果；步骤三，将输入图像集输入到反射图估计模型和阴影估计模型，得到场景的反射图和每张图像的阴影图方法如下：(1)将图像集中的所有图像在通道维度上串联，并将串联后的结果输入到反射图估计模型中，模型输出为对场景的反射图的估计结果；(2)将粗略的法线图恢复结果和光照条件在通道维度串联，将串联结果记作张量B；(3)分别将图像集中每一张图像Ik以及对应的张量Bk输入到阴影估计模型，阴影估计模型输出为对每一张图像Ik的阴影图的估计结果，方法如下：阴影估计模型的结构为一个基于编码‑解码器的神经网络，包含两个编码器，每个编码器由四个卷积层构成，卷积核尺寸都为3×3，每一层的卷积核个数分别为64，128，256和256个；将输入图像Ik和张量B输入到两个编码器，分别对进行深度特征提取，得到两个深度特征；两个编码器之后是特征融合模块，特征融合模块将两个深度特征进行通道维度上的串联操作，完成串联后的特征先后通过一层全局池化层和一个卷积核为1×1的卷积层，最后通过Sigmoid函数进行归一化，输出通道权重矩阵；将通道权重矩阵与两个深度特征的串联结果相乘，将两个深度特征进行融合，得到最终的图像深度特征；将最终得到的深度特征输入到解码器中，得到阴影图的估计结果；步骤四，根据粗略的法线图恢复结果光照条件反射图和阴影图对输入图像进行复原，得到复原图像集步骤五，根据输入图像集和复原图像集之间的相似度，以自监督的形式训练光度立体模型，更新光度立体模型参数；步骤六，将输入图像集输入到更新参数后的光度立体模型，得到经过优化后的法线图恢复结果和每张图像Ik的光照条件步骤七，根据最终的法线图恢复结果对目标场景进行三维重建。2.根据权利要求1所述的一种基于自监督学习的光度立体三维重建方法，其特征在于，步骤三中，所述的反射图估计模型的结构为一个基于编码‑解码器的神经网络，编码器由6层卷积层构成，解码器由4层卷积层构成；在解码器的每一个卷积层都设置了跳跃连接层与浅层网络连接。3.根据权利要求1所述的一种基于自监督学习的光度立体三维重建方法，其特征在于，2CN114998507A权利要求书2/2页步骤四的具体方法为：根据朗伯渲染公式：利用法线图恢复结果光照条件反射图和阴影图分别对每张输入图像Ik进行复原，并构建复原图像集4.根据权利要求1所