一种增强现实人脸互动娱乐方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106373182A(43)申请公布日2017.02.01(21)申请号201610685587.3(22)申请日2016.08.18(71)申请人苏州丽多数字科技有限公司地址215000江苏省苏州市工业园区仁爱路1号C区南楼2F(72)发明人许奇明(74)专利代理机构苏州翔远专利代理事务所(普通合伙)32251代理人陆金星(51)Int.Cl.G06T17/00(2006.01)G06T19/20(2011.01)权利要求书1页说明书4页附图2页(54)发明名称一种增强现实人脸互动娱乐方法(57)摘要本发明公开了一种增强现实人脸互动娱乐方法，其包括如下步骤：步骤一、预先制作标准人脸三维模型和脸部三维素材；步骤二、输入人脸视频，并在输入的人脸视频中的每一帧检测2D人脸特征点；步骤三、结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；步骤四、根据步骤三中所得到的人脸的3D位置和姿态将预先制作好的脸部三维素材转换到视频中人脸的相同姿态下，并且渲染叠加在人脸视频中实现增强现实效果；步骤五、录制人脸增强现实效果视频并保存后与朋友分享互动。本发明只需要通过普通的手机摄像头即可拍摄人脸视频，无需特殊传感器等外接设备，使用范围不受限制，便于推广，且具有很好的跟随性，效果自然。CN106373182ACN106373182A权利要求书1/1页1.一种增强现实人脸互动娱乐方法，其包括如下步骤：步骤一、预先制作标准人脸三维模型和脸部三维素材；步骤二、输入人脸视频，并在输入的人脸视频中的每一帧检测2D人脸特征点；步骤三、结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态；步骤四、根据步骤三中所得到的人脸的3D位置和姿态将预先制作好的脸部三维素材转换到视频中人脸的相同姿态下，并且渲染叠加在人脸视频中实现增强现实效果；步骤五、录制人脸增强现实效果视频并保存后与朋友分享互动。2.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述标准人脸三维模型以及脸部三维素材由三维建模软件制作而成。3.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤二中在输入的人脸视频中的每一帧检测2D人脸特征点的具体步骤包括：（1）构建2D人脸特征点训练数据库；（2）提取人脸图像特征；（3）定位2D人脸特征点。4.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤三中结合标准人脸三维模型以及2D人脸特征点估计视频帧中人脸的3D位置和姿态是通过优化如下函数得到的：其中，为视频中的一2D人脸特征点坐标；为2D人脸特征点对应的在标准人脸三维模型中的顶点三维坐标；和分别为3D旋转矩阵和平移矢量；为正射投影操作；为L2范数。5.根据权利要求1所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤二中检测2D人脸特征点个数为66个。6.根据权利要求3所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤（2）中提取人脸图像特征时采用HoG特征作为每个特征点处的特征描述方式。7.根据权利要求3所述的增强现实人脸互动娱乐方法，其特征在于：所述步骤（3）中定位2D人脸特征点的方法为，对于每个特征点使用上一帧的位置作为初始值，通过估计偏移得到在当前帧中特征点的位置。8.根据权利要求7所述的增强现实人脸互动娱乐方法，其特征在于：对于所述每个特征点处的特征矢量，通过线性回归的方式分别计算水平和垂直方向的偏移量，线性回归的系数通过在2D人脸特征点训练数据库中学习得到。9.根据权利要求8所述的增强现实人脸互动娱乐方法，其特征在于：所述特征矢量由特征点处的HoG特征前后拼接而成。2CN106373182A说明书1/4页一种增强现实人脸互动娱乐方法技术领域[0001]本发明属于计算机视觉和计算机图形学技术领域，具体地涉及一种增强现实人脸互动娱乐方法。背景技术[0002]增强现实人脸互动娱乐技术主要通过手机拍摄人脸视频，实时在线地通过跟踪人脸特征点进一步估计人脸的3D位置和姿态，从而将预设的脸部三维素材叠加到人脸视频中并跟随人脸旋转移动，得到新奇的增强现实互动效果，进一步地，还可以通过录制视频与朋友分享而实现互动。由于人脸动作是人类情感传递的一个重要途径，因此上述技术在人机交互、影视广告、游戏制作、视频会议等方面都有广泛的应用。[0003]目前增强现实的方案一般均依赖于标记（如ARToolKit设计的特殊类型的标记），将标记印到纸张上然后放到场景中，通过识别该特殊标记可以估计3D位置和姿态，从而可以将虚拟三维物体以合适的姿态叠加到视频场景中，此类方法需要额外的标记并且始终将标记放置在场景需要叠加虚拟三维物体的位置上，并不适用于人脸互动娱乐。估计人脸的3D位置