一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106997605A(43)申请公布日2017.08.01(21)申请号201710173548.X(22)申请日2017.03.22(71)申请人浙江大学地址310058浙江省杭州市西湖区余杭塘路866号(72)发明人耿卫东黄倩妮(74)专利代理机构杭州求是专利事务所有限公司33200代理人刘静邱启旺(51)Int.Cl.G06T7/80(2017.01)G06T7/55(2017.01)G06T17/00(2006.01)权利要求书5页说明书11页附图3页(54)发明名称一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法(57)摘要本发明公开了一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法。用带IMU传感器的智能手机绕着裸脚拍摄360度获取脚型视频和对应的IMU数据，通过建立因子图，把摄像机姿态、三维点云坐标、IMU数据、视频轮廓等已有的各种数据做为因子，通过定义各个因子之间的约束误差方程并进行求解而得到摄像机参数，引入参考模型进行脚型重建。充分利用参考模型的点云分布、法向量、表面曲率等信息引导重建脚型的形变，使之在不偏离重建点云的情况下，尽量接近真实脚型，减小噪声点的干扰，从而实现一个方便地得到对应的脚型三维网格模型的过程。既降低了脚型数据的获取成本，又不失参数计算的精确性和鲁棒性。CN106997605ACN106997605A权利要求书1/5页1.一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法，其特征在于，该方法包括以下步骤：(1)利用智能手机围绕裸脚旋转一圈采集脚型视频和传感器数据，将视频分解成视频帧，并取部分帧作脚型区域分割等预处理，同时对脚型数据库中的参考脚型模型求法向量等参数；(2)根据多视角立体几何的约束关系，检测视频帧中的特征点并进行匹配，计算摄像机内外参数，恢复特征点对应的三维点云坐标；(3)加入IMU数据，对步骤2得到的摄像机参数和三维点云坐标进行修正，包括修复多视角算法失败无法求得摄像机参数的情况和移动三维点云坐标以减小三维坐标计算误差；(4)从已有的脚型数据库中选择相似的参考脚型模型，对齐重建脚型模型和参考脚型模型，并对重建脚型模型进行去噪、光滑、表面重建处理；(5)根据重建脚型模型和参考脚型模型之间的局部和整体对齐关系，对参考脚型模型进行形变使其拟合重建脚型模型，输出最终的重建脚型模型结果。2.根据权利要求1所述的一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法，其特征在于，所述步骤1具体包括以下子步骤：(1.1)用带有陀螺仪和加速计的智能手机绕脚360度拍摄视频一圈回到原点，拍摄时在脚底放置一张A4纸，拍摄过程中记录陀螺仪和加速计的数值。拍摄场景中的物体尺寸与真实尺寸之间的比例以A4纸作为参考。(1.2)将采集到的视频分解成视频帧，从视频帧中等间隔地选择部分帧进行分割前背景区域，得到视频帧对应的关于脚型区域的mask视频。通过检测视频帧中A4纸的角点和边获取A4纸区域，根据RGB像素值分割A4纸及在A4纸区域内的部分脚型区域。同时，对整幅视频帧进行边缘检测，得到包括脚型边缘在内的视频帧边缘视频。然后由A4纸区域内的脚型区域向外搜索填充，最终得到初步估计的脚型区域及非脚型区域。建立GMM模型，通过k-mean算法分别对脚型区域像素和非脚型区域像素进行聚类，得到GMM模型中每个高斯模型的像素样本集，然后根据RGB值计算每个高斯模型的参数均值和协方差，每个高斯模型的权值定义为属于该高斯模型的像素个数与总像素个数的比值。对每个像素分配GMM模型中的高斯模型，以给定的脚型区域和非脚型区域为参考学习优化GMM模型，迭代分割，最终得到对应视频帧的脚型轮廓视频。(1.3)用Kalibr工具箱对IMU进行标定，求出IMU到摄像机的旋转矩阵，利用该旋转矩阵变换摄像机坐标系和IMU坐标系。对于参考脚型模型，顶点vi的法向量由该顶点和周围k个邻近点共同确定。记顶点vi的第j个邻近点为(j∈1,…,k)。模型中心点为c，则法向量同时满足：其中Face{vi}为包含点vi的面片，几何意义为顶点vi的法向量由以该点为顶点的面片的法向量的权重和，方向为由中心点指向顶点外侧。最终得到每个顶点和每个面片的法向量。3.根据权利要求1所述的一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法，其特征在于，所述步骤2具体为：对每帧视频帧进行Brief和Freak特征点检测和提2CN106997605A权利要求书2/5页取，对视频帧两两进行特征匹配，计算单应矩阵，并按纯视觉方法计算基本矩阵、本质矩阵，对本质矩阵进行SVD分解求得初始的摄像机姿态参数，同时恢复特征点对应的三维点云坐标。4.根据权利要求1所述的一种通