基于三维动画中角色实时面部表情动画捕捉的系统和方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108416255A(43)申请公布日2018.08.17(21)申请号201810047164.8(22)申请日2018.01.18(71)申请人珠海金山网络游戏科技有限公司地址519000广东省珠海市香洲区前岛环路325号金山软件园3号楼申请人成都西山居互动娱乐科技有限公司(72)发明人强项芦振华(74)专利代理机构广州嘉权专利商标事务所有限公司44205代理人樊思远(51)Int.Cl.G06K9/00(2006.01)G06T13/40(2011.01)权利要求书1页说明书5页附图4页(54)发明名称基于三维动画中角色实时面部表情动画捕捉的系统和方法(57)摘要本发明提供了角色实时面部表情动画捕捉的系统，该系统包括：一面部动作捕捉头盔，其包括一盔壳；一面部动作捕捉模块，其设置在盔壳上，用于捕捉演员的表情图像；以及一第一通信模块，其设置在盔壳上，用于连接后述图像处理装置。该系统还包括一图像处理装置，其用于根据捕捉的演员的表情图像，生成角色面部表情，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。还提供了角色实时面部表情动画捕捉的方法。CN108416255ACN108416255A权利要求书1/1页1.角色实时面部表情动画捕捉的系统，其特征在于所述系统包括：一面部动作捕捉头盔，其包括一盔壳；一面部动作捕捉模块，其设置在盔壳上，用于捕捉演员的面部图像；以及一第一通信模块，其设置在盔壳上，用于连接后述图像处理装置，一图像处理装置，其用于根据捕捉的演员的表情图像，生成角色面部表情，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。2.根据权利要求1所述的系统，其中所述面部动作捕捉头盔还包括：一LED光源，其用于照亮演员的面部动作；一麦克风，其用于捕捉演员的声音；以及一耳机，其用于向演员传输对应三维场景的声音。3.根据权利要求1所述的系统，其中所述面部动作捕捉模块包括红外摄像头。4.根据权利要求3所述的系统，其中所述面部动作捕捉头盔还包括用于发射散斑图案的红外线光源。5.角色实时面部表情动画捕捉的方法，基于权利要求1-4中任一项所述的系统，其特征在于包括以下步骤：创建具有面部的虚拟体；拍摄演员的面部图像；基于该面部图像，关联虚拟体的面部和演员的面部；捕捉演员的面部动作，根据演员的面部动作绘制虚拟体的面部动画。6.根据权利要求5所述的方法，其中基于该面部图像，关联虚拟体的面部和演员的面部的步骤还包括以下子步骤：在拍摄演员的面部图像前，向演员的面部投射第一红外线散斑图案；基于红外线散斑图案在演员的面部的投影，构建虚拟体的面部骨骼；基于虚拟体的面部骨骼的形状，向演员的面部投射第二红外线散斑图案；关联虚拟体的面部骨骼与演员的面部的第二红外线散斑图案的投影。7.根据权利要求6所述的方法，其中捕捉演员的面部动作，根据演员的面部动作绘制虚拟体的面部动画的步骤还包括以下子步骤：捕捉第二红外线散斑图案的投影在演员的面部的投影；基于该投影的变化，配置虚拟体的面部骨骼的运动；基于虚拟体的面部骨骼的运动，配置虚拟体的面部动画。8.根据权利要求5所述的方法，其中还包括步骤：将虚拟体合成至动画场景，根据该动画场景的环境参数为虚拟体配置物理动力学参数。2CN108416255A说明书1/5页基于三维动画中角色实时面部表情动画捕捉的系统和方法技术领域[0001]本发明涉及虚拟现实技术领域，特别涉及角色实时面部表情动画捕捉的系统和方法。背景技术[0002]自从《阿凡达》《指环王》等好莱坞大片的上映，广大观众对其中以假乱真的数字角色所深深震撼，国内国外的业界人士都对面部动作捕捉技术进行了大量的深入研究和解析。动作捕捉技术在影视动画、次世代游戏等领域里大行其道，获得了技术人士的青睐，也给观众带来了前所未有的视觉感受。面对越来越多的行业对面部捕捉的需求日益增加，用户迫切需要一种简单，易用，高效的面部动作捕捉系统。发明内容[0003]针对上述问题，我们的开发的一种角色实时面部表情动画捕捉的系统和方法，就弥补了这方面的空白。[0004]根据本公开的第一个方面，提供了角色实时面部表情动画捕捉的系统，其该系统包括：[0005]一面部动作捕捉头盔，其包括一盔壳；一面部动作捕捉模块，其设置在盔壳上，用于捕捉演员的面部图像；以及一第一通信模块，其设置在盔壳上，用于连接后述图像处理装置。该系统还包括一图像处理装置，其用于根据捕捉的演员的表情图像，生成角色面部表情，该图像处理装置包括一第二通讯模块，其用于与第一通讯模块进行有线或无线通讯。[0006]进一步地，其中面部动作捕捉头盔还包括：一LED光源，其用于照亮演员的面部动作；一麦克风，其用于捕捉演员的声音；以