基于深度学习的单视角叶片三维重建方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241160A(43)申请公布日2022.03.25(21)申请号202111582989.8(22)申请日2021.12.22(71)申请人重庆师范大学地址401331重庆市沙坪坝区大学城中路37号(72)发明人朱德利李炜王青(74)专利代理机构北京海虹嘉诚知识产权代理有限公司11129代理人胡博文(51)Int.Cl.G06T17/20(2006.01)G06T15/00(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书6页附图1页(54)发明名称基于深度学习的单视角叶片三维重建方法(57)摘要本发明公开了一种基于深度学习的单视角叶片三维重建方法，包括步骤S1.制作叶片数据集；S2.将叶片数据集输入到神经网络模型进行网络训练，得到训练好的重建网络模型；S3.将目标叶片图像输入到重建网络模型，输出目标叶片的网格渲染轮廓信息，调整重建网络模型中的参数值，使得输出的网格渲染轮廓信息与目标叶片图像的轮廓信息之间的差异最小，并将达到差异最小时设置的重建网络模型作为最优重建网络模型；S4.将待测叶片图像输入到最优重建网络模型，输出待测叶片的三维形状。本发明能够提高单视角叶片三维重建的精度和速度，减少人为建模的时间和降低单视角重建的难度。CN114241160ACN114241160A权利要求书1/2页1.一种基于深度学习的单视角叶片三维重建方法，其特征在于：包括如下步骤：S1.制作叶片数据集；所述叶片数据集包括叶片在不同视角下的渲染视图以及对应视角的点云；S2.将叶片数据集输入到神经网络模型进行网络训练，得到训练好的重建网络模型；S3.将目标叶片图像输入到重建网络模型，输出目标叶片的网格渲染轮廓信息，调整重建网络模型中的参数值，使得输出的网格渲染轮廓信息与目标叶片图像的轮廓信息之间的差异最小，并将达到差异最小时设置的重建网络模型作为最优重建网络模型；S4.将待测叶片图像输入到最优重建网络模型，输出待测叶片的三维形状。2.根据权利要求1所述的基于深度学习的单视角叶片三维重建方法，其特征在于：所述制作叶片数据集，具体包括：采集若干种不同叶形的叶片，得到若干种轮廓不同的叶片模型，并获取叶片模型的三维数据信息；对叶片模型进行归一化处理，使得若干叶片模型为同一个尺度；在叶片模型的网格上均匀采样，得到若干样本点云数据；确定场景相机的渲染位置、角度以及视野大小，并随后结合不同相机视角和光照强度对场景下的叶片模型进行视图渲染,得到不同视角的渲染视图；将叶片模型三维点对应的坐标信息映射回所渲染的视图进行匹配，使得所形成的点云数据与渲染视图中的二维特征点能够对应匹配。3.根据权利要求2所述的基于深度学习的单视角叶片三维重建方法，其特征在于：在进行匹配前，在保证已有的叶子模型三维形状不变的前提下,对叶子模型进行旋转与平移,以增加叶子模型样本的多样性。4.根据权利要求1所述的基于深度学习的单视角叶片三维重建方法，其特征在于：所述神经网络模型采用改进的ResNet18网络作为特征提取网络；所述改进的ResNet18网络一开始分别使用两层3×3的16维卷积核和32维卷积核，用于提取二维浅层图像特征信息；所述改进的ResNet18网络选取3×3小卷积核替换原始ResNet18中64维的7×7卷积核，并将所述3×3小卷积核堆叠以提高网络模型的提取特征能力。5.根据权利要求4所述的基于深度学习的单视角叶片三维重建方法，其特征在于：所述神经网络模型采用的损失函数包括Chamfer损失函数、Normal损失函数、Laplacian正则化以及Edgelength正则化；所述Chamfer损失函数用于限制叶片网格顶点的具体位置；所述Normal损失函数用于加强网格曲面法线的一致性；所述Laplacian正则化用于维持形变时相邻顶点的相对位置关系；所述Edgelength正则化用于防止个别异常点出现局部最优化，造成网格表面不平滑。6.根据权利要求1所述的基于深度学习的单视角叶片三维重建方法，其特征在于：将输出的网格渲染轮廓信息与目标叶片图像的轮廓信息之间的差异标记为Ls；2CN114241160A权利要求书2/2页所述其中，为重建网络模型输出的目标叶片的网格渲染轮廓图像；Is为目标叶片的轮廓图像；为元素之间的乘积。7.根据权利要求1所述的基于深度学习的单视角叶片三维重建方法，其特征在于：所述待测叶片图像为RGBA图像。8.根据权利要求1所述的基于深度学习的单视角叶片三维重建方法，其特征在于：所述步骤S2中，还包括使用评价指标对训练好的重建网络模型进行测试评价，用于判断重建网络模型输出的结果与真实结果之间的相似程度。9.根据权利要求8所述的基