基于级联卷积神经网络的三维人脸特征点定位方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106980812A(43)申请公布日2017.07.25(21)申请号201611154383.3(22)申请日2016.12.14(71)申请人四川长虹电器股份有限公司地址621000四川省绵阳市高新区绵兴东路35号(72)发明人魏永涛(74)专利代理机构四川省成都市天策商标专利事务所51213代理人袁辰亮(51)Int.Cl.G06K9/00(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图1页(54)发明名称基于级联卷积神经网络的三维人脸特征点定位方法(57)摘要本发明公开了一种基于级联卷积神经网络的三维人脸特征点定位方法，所述的方法包括以下步骤：步骤一、对训练数据的三维人脸特征点进行预处理，获取SPIDER描述子；步骤二、构造级联卷积神经网络函数，分别对人脸轮廓点和人脸内部关键点，利用全局约束迭代求解的过程分别计算人脸轮廓特征点和人脸内部特征点的三维坐标。本发明可以在复杂场景和条件下，使三维人脸定位可以达到令人满意的结果。CN106980812ACN106980812A权利要求书1/3页1.一种基于级联卷积神经网络的三维人脸特征点定位方法，其特征在于：所述的方法包括以下步骤：步骤一、对训练数据的三维人脸特征点进行预处理，获取SPIDER描述子；步骤二、构造级联卷积神经网络函数，分别对人脸轮廓点和人脸内部关键点，利用全局约束迭代求解的过程分别计算人脸轮廓特征点和人脸内部特征点的三维坐标。2.根据权利要求1所述的基于级联卷积神经网络的三维人脸特征点定位方法，其特征在于所述的步骤一包括：步骤a，对用于训练的三维人脸定位的特征点数据进行坐标系转换，根据式(1)将人脸特征点由空间直角坐标系下(x,y,z)的坐标转换到球坐标系下的坐标步骤b，球坐标系下的子空间划分以及子空间的直方图统计。3.根据权利要求2所述的基于级联卷积神经网络的三维人脸特征点定位方法，其特征在于所述的步骤b包括：步骤Ⅰ，三维人脸曲面由一系列的顶点与三角面片所构成，三角面片的集合表示为T，ti表示其中第i个三角面片；对于曲面上的一个顶点p，给定局部曲面影响半径R，则定点p周围的局部曲面由三角面片集合Ti＝{ti|||ci-p||＜R,ci为ti的重心}表示；将影响半径R平均分为M份，将Tr分为M个子集且其中ci为ti的重心，m＝1,2,...,M；步骤Ⅱ，以p为原点中心，将极坐标系等分为多个扇形区域的扇形划分；即以p为原点中心，在XY平面上建立极坐标系，其中X轴为极坐标系θ轴，将θ轴等分为N份，将T分为N个子集{Tn}，n＝1,2,...,N，且对于三角面片ti，其重心ci在XY平面上的投影ci'表示为极坐标系上的坐标值第n子集定义为步骤Ⅲ，将步骤Ⅰ和步骤Ⅱ曲面划分的笛卡尔积，将以p点为中心的局部曲面划分为M×N个子曲面其中步骤Ⅳ，对于第m×n个子曲面令表示其中的一个三角面片，使用表示的法向向量；以法向向量空间中坐标(0,0,0)为原点建立球坐标系，其中三维直角坐标系中坐标Z轴是球坐标系轴，X轴是θ轴，法向由求坐标系的坐标值来表示在球坐标系中，半个球面的轴的取值范围是θ轴的取值范围是[0,2π)；分别将轴K等分，θ轴L2CN106980812A权利要求书2/3页等分，将法向向量空间划分为K×L个单元；法向向量位于第k×l个但愿的面片集合表示为其中和θi分别是三角面片的法向在求坐标系下的坐标值；将每一个单元均视为一个bin，对于第k×l个单元，统计集合Sk×l中所有三角面片的面积之和为ak×l，并将其视为子曲面的统计直方图hm×n中第k×l个bin的值；步骤Ⅴ，计算顶点p周围所有m×n个子曲面的统计直方图，将它们逐一连接构成一个高维直方图H'p，同时计算这m×n个子曲面的面积之和Ap，使用Ap对H'p归一化后，得到的直方图Hp就是顶点p的SPIDER描述子。4.根据权利要求1所述的基于级联卷积神经网络的三维人脸特征点定位方法，其特征在于所述的步骤二包括：卷积神经网络学习卡方距离χ2作为相似度检验函数的度量，衡量带检测点的SPIDER描述子与指定人脸特征点SPIDER描述子模板的相似程度其中xi是特征点的SPIDER的描述子模版中第i个bin中的数值，y是待测点的SPIDER描述子中第i个bin中的数值。5.根据权利要求4所述的基于级联卷积神经网络的三维人脸特征点定位方法，其特征在于所述的步骤二包括：对于各个特征点，求解卡方距离最小的m个点，并使用k近邻算法找到该m个点的聚类中心，即是目标模型上的三维人脸的特征点。6.根据权利要求1所述的基于级联卷积神经网络的三维人脸特征点定位方法，其特征在于所述的步骤二包括：步骤c,使用SPIDER描述子定位三维人脸上的人