基于三维动画中实时多人动作捕捉并直播的方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108986189A(43)申请公布日2018.12.11(21)申请号201810640630.3(22)申请日2018.06.21(71)申请人珠海金山网络游戏科技有限公司地址519000广东省珠海市香洲区前岛环路325号金山软件园3号楼申请人珠海西山居互动娱乐科技有限公司(72)发明人强项芦振华胡文彬蒋晓光(74)专利代理机构广州嘉权专利商标事务所有限公司44205代理人俞梁清(51)Int.Cl.G06T13/40(2011.01)G06T19/20(2011.01)G06F3/01(2006.01)权利要求书2页说明书6页附图5页(54)发明名称基于三维动画中实时多人动作捕捉并直播的方法和系统(57)摘要本发明涉及一种基于三维动画中实时多人动作捕捉并直播的方法，包括基于三维动画中的角色创建每一个三维角色模型，加入贴图文件，设置肢体动作参数；为三维模型建立和绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；提取每个真实的动捕演员的骨骼数据，然后配置对应的三维角色模型；在动捕室内通过动捕设备实时采集动捕演员的动作信息，将动捕设备的数据传输到图形引擎中，然后实时渲染和驱动相应的角色模型，生成实时视频，并进行直播。本发明还相应提出一种基于三维动画中实时多人动作捕捉并直播的计算机装置、系统和计算机程序。CN108986189ACN108986189A权利要求书1/2页1.一种基于三维动画中实时多人动作捕捉并直播的方法，其特征在于，所述方法包括以下步骤：A、基于三维动画中的角色创建每一个三维角色模型，加入贴图文件，设置肢体动作参数；B、为三维模型建立和绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；C、提取每个真实的动捕演员的骨骼数据，然后配置对应的三维角色模型；D、在动捕室内通过动捕设备实时采集动捕演员的动作信息，将动捕设备的数据传输到图形引擎中，然后实时渲染和驱动相应的角色模型，生成实时视频，并进行直播。2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：制作基于三维动画中的三维角色模型，配置制作三维角色的法线光滑组，并调整三维角色模型的UV坐标；根据模型UV坐标制作贴图，根据贴图制作相对应的材质，最后检查角色模型并在图形引擎关联的数据库中归档保存。3.根据权利要求1所述的方法，其特征在于，所述步骤B包括：基于三维动画中的三维角色模型，制作动画骨骼，并将骨骼绑定到各自的模型中；并制作相对应的动画，并调整模型的权重和控制器，然后导入到图形引擎关联的数据库中进行归档。4.根据权利要求1所述的方法，其特征在于，所述步骤C包括：多名动捕演员进入动捕房间，穿戴标记点动捕服，佩戴头盔式面部表情捕捉系统，然后各自演员对应各自的三维角色模型；通过动捕软件根据骨骼大小比例进行区分，各自演员绑定各自的三维动画模型，然后调试，完成准备工作。5.根据权利要求1所述的方法，其特征在于，所述步骤D包括：在进行多人动捕期间，通过红外动捕摄像头实时记录演员的动作并传输到动捕软件；将处理后的动作数据传输到图形引擎工作站中，完成实时渲染；将渲染的画面采集并传输到直播服务器，推送上直播平台进行实时直播。6.根据权利要求1所述的方法，其特征在于，还包括：捕捉演员的肢体动作和/或面部表情，转换为与角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的三维角色模型，并且配置演员的肢体动作和/或面部表情与三维角色模型动画的肢体动作和/或面部表情能够实时同步。7.根据权利要求1所述的方法，其特征在于，还包括：根据该面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的角色模型的面部表情形状；在角色模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。8.一种计算机装置，包括存储器、处理器及储存在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：A、基于三维动画中的角色创建每一个三维角色模型，加入贴图文件，设置肢体动作参数；2CN108986189A权利要求书2/2页B、为三维模型建立和绑定骨骼模型，为预设的肢体动作准备动画，并导入至图形引擎；C、提取每个真实的动捕演员的骨骼数据，然后配置对应的三维角色模型；D、在动捕室内通过动捕设备实时采集动捕演员的动作信息，将动捕设备的数据传输到图形引擎中，然后实时渲染和驱动相应的角色模型，生成实时视频，并进行直播。9.一种基于三维动画中实时多人动作捕捉并直播的系统，包括根据权利要求8所述的计算机装置；与所述计算机装置连接的图形引擎；穿戴在演员身上的动作捕捉服；穿戴在演员头部的面部表情捕捉器；