基于隐式神经表示的多视图三维重建方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115761178A(43)申请公布日2023.03.07(21)申请号202211232601.6G06V10/42(2022.01)(22)申请日2022.10.10G06V10/44(2022.01)G06V10/80(2022.01)(71)申请人哈尔滨工业大学（深圳）G06N3/0464(2023.01)地址518055广东省深圳市南山区桃源街G06N3/082(2023.01)道深圳大学城哈尔滨工业大学校区(72)发明人唐琳琳黄鑫苏敬勇刘洋漆舒汉(74)专利代理机构北京国翰知识产权代理事务所(普通合伙)11696专利代理师吴胜平(51)Int.Cl.G06T17/20(2006.01)G06T15/20(2011.01)G06T15/50(2011.01)G06T7/64(2017.01)权利要求书3页说明书10页附图3页(54)发明名称基于隐式神经表示的多视图三维重建方法(57)摘要本发明涉及立体视图三维重建技术领域，具体涉及一种基于隐式神经表示的多视图三维重建方法，在隐式神经表示和体渲染技术的基础上提出一种基于像素特征融合的多视图三维重建算法，考虑了不同视角下入射光对重建几何形状的影响，而且通过设计像素特征图编码器提取多视角图像的像素特征，以融入到表面点的全局几何特征中，改进整个重建模型的体渲染过程，进而提高物体表面精细程度，重建出高分辨率的精细网格表示的三维物体模型。CN115761178ACN115761178A权利要求书1/3页1.一种基于隐式神经表示的多视图三维重建方法，其特征在于包括：步骤一，通过残差卷积神经网络获得图像的全局特征图和局部特征图，通过双线性插值的方式将全局特征图和局部特征图进行拼接，最终形成和原图像相同大小的像素特征图，使每个图像像素都对应一个指定维度大小的像素特征；步骤二，从像素特征图上提取图像全局特征和局部特征进行融合以形成每个射线对应的像素特征来代表不同波长的特性，并且将该特征融入到体渲染的公式中的全局形状特征中，以改进体渲染数学模型的重建性能；步骤三，使用符号距离函数SDF隐式的表示物体的曲面形状，即对给定的任意空间点x，SDF(x)可以输出所述空间点x到最近表面的距离，三维物体的表面S可以由零水平集隐式SDF(x)＝0确定，用多层感知机来近似符号距离函数；步骤四，使用像素特征融合的体渲染公式渲染给定视角和相机参数下的图像，并且最小化与输入图像的差异，训练过程中，输入数据是由一组带有相机内外参数的RGB图像组成；步骤五，在获取到每个三维空间点的符号距离后，就可以使用MarchingCube算法来获得对应于阈值的三维网格表面，从而可视化出高分辨率的网格表示的3D物体模型。2.根据权利要求1所述的方法，其特征在于：步骤一中，对于输入的图像I，截取的特征图包括F1，F2，...，FN，其中F1，F2，...，FN‑1为局部特征图，FN为全局特征图，因此图像的像素特征图可用下式表示：fI＝F1，F2，…，FN(1)。3.根据权利要求2所述的方法，其特征在于：步骤二中，给定一个像素，以相机中心o到该像素的射线表示为{r(t)＝o+td|t>0}，d是沿相机中心o到像素的射线的单位方向向量；沿着光线的累积颜色C(r)：其中c(r，n，g，d)表示光场(LightField)、也可以称为颜色场(ColorFiled)，即每个空间点r(ti)在方向d发出的光量，也可以视为RGB颜色值；函数T(t)表示沿射线的累积透过概率，即射线从相机中心o传播到r(t)而没有击中任何其他粒子的概率；并且通过曲面的法线n和这个空间点特征g来约束光场，既空间点特征g是由这条射线r(t)对应的图像I生成的像素特征fI和全局形状特征fθ，g(r(t))联合生成的。4.根据权利要求3所述的方法，其特征在于：步骤二中，将体密度σ(x)建模为使用可学习的距离函数fθ的变换来替换：σ(x)＝αΨβ(fθ(x))(3)其中，α，β＞0为可学习参数，Ψβ为均值为零、尺度参数为β的拉普拉斯累积分布函数。2CN115761178A权利要求书2/3页5.根据权利要求4所述的方法，其特征在于：步骤二中，沿光线{r(t)＝o+td|t>0}采样N个采样点{xi}，使用数值积分的方式近似射线r的颜色：Ti＝exp(‑∑j<iσj(xj)δj)(6)其中δj＝|xi+1‑xi|是相邻采样点之间的距离，由于本项目是将像素特征融合进全局形状特征中，从(ci，σi)计算的整个过程仍然是可微的，因此可以采用神经网络的方式进行优化。6.根据权利要求5所述的方法，其特征在于：步骤三中，所述符号距离函数SDF隐式地表示物体的曲面形状：即对给定的任意空间点x，SDF(x)可以输出所述空间点x到最