一种虚拟现实的直播方法、装置和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107277599A(43)申请公布日2017.10.20(21)申请号201710400733.8G06T19/00(2011.01)(22)申请日2017.05.31G06F3/01(2006.01)(71)申请人珠海金山网络游戏科技有限公司地址519000广东省珠海市吉大景山路莲山巷8号金山软件大厦申请人成都西山居互动娱乐科技有限公司(72)发明人强项贺子彬宋佩颖蒋晓光周湘君(74)专利代理机构广州嘉权专利商标事务所有限公司44205代理人俞梁清(51)Int.Cl.H04N21/431(2011.01)H04N13/02(2006.01)H04L29/06(2006.01)权利要求书2页说明书6页附图6页(54)发明名称一种虚拟现实的直播方法、装置和系统(57)摘要本发明公开了一种虚拟现实的直播方法、装置和系统。方法包括以下步骤：创建虚拟的3D角色，并导入至图形引擎，生成VR主播模型；实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；将所述VR主播模型合成至VR场景，然后实时与直播平台对接，生成直播画面。装置包括对应于所述方法各个步骤的模块。系统包括：动捕装置，用于实时捕捉真实演员的肢体动作；面部表情捕捉器，用于捕捉真实演员的面部表情；图形引擎，用于生成和处理3D角色模型，运算3D角色模型的物理动力学动作，转换动画视频输出至视频传播软件；特效生成模块，用于协调VR场景，增加特效；用于执行上述方法的应用程序。本发明的方案能有效提高VR主播的临场感和观众互动性。CN107277599ACN107277599A权利要求书1/2页1.一种虚拟现实的直播方法，其特征在于，包括以下步骤：A、创建虚拟的3D角色，导入至图形引擎，得到VR主播模型；B、实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；C、将所述VR主播模型合成至VR场景，然后实时与直播平台对接，生成直播画面；其中，所述动作信息包括肢体动作、面部表情和声音。2.根据权利要求1所述的虚拟现实的直播方法，其中所述步骤A包括：根据原画资料，为所述虚拟的角色配置人设特性数据，人设特性数据包含职业信息、性格信息或人物背景特性，并且为所述VR主播模型配置贴图、材质和角色动画骨骼。3.根据权利要求2所述的虚拟现实的直播方法，其中所述步骤A还包括：将所述VR主播模型及其匹配的角色动画骨骼导入至所述图形引擎中运算骨骼动画。4.根据权利要求1所述的虚拟现实的直播方法，其中所述步骤B包括：捕捉所述演员的肢体动作、面部表情和声音，转换为与所述角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的相应的VR主播模型，并且配置所述演员的肢体动作、面部表情和声音与所述VR主播模型动画的肢体动作、面部表情和声音能够实时同步。5.根据权利要求4所述的虚拟现实的直播方法，其中所述步骤B还包括：提取所述演员的骨骼模型，然后导入至所述图形引擎中，以匹配所述VR主播模型的角色动画骨骼；根据该骨骼模型来实时捕捉和转换演员的肢体动作数据，将实时捕捉的肢体动作数据生成动作控制指令，通过所述图形引擎生成相应的VR主播模型的动作姿态；在VR主播模型的动作姿态之间运算生成肢体动画。6.根据权利要求4所述的虚拟现实的直播方法，其中所述步骤B还包括：提取所述演员的面部骨骼，然后导入至所述图形引擎中，以匹配所述VR主播模型的面部骨骼蒙皮；根据该面部骨骼来实时捕捉和转换演员的面部动作数据，将实时捕捉的面部动作数据生成面部表情控制指令，通过所述图形引擎生成相应的VR主播模型的面部表情形状；在VR主播模型相应面部位置的面部表情形状之间运算生成面部表情动画过渡。7.根据权利要求1所述的虚拟现实的直播方法，其中所述步骤C包括：加入灯光和音乐，通过VR后台处理客户端的导播面板进行控制；实时地计算摄影机影像的位置及角度，并配置到所述虚拟的角色中，以进行交互及应对拍摄；将多个摄影机拍摄的画面组合生成全景显示画面，然后发送至VR后台处理客户端以生成全景显示。8.一种虚拟现实的直播装置，其特征在于，包括：第一模块，用于创建虚拟的角色，并导入至图形引擎，生成VR主播模型；第二模块，用于实时捕捉真实的演员动作信息，然后关联和控制所述VR主播模型；第三模块，将所述VR主播模型合成至VR场景，然后实时与直播平台对接，生成直播画面；其中，所述动作信息包括肢体动作、面部表情和声音。2CN107277599A权利要求书2/2页9.根据权利要求8所述的虚拟现实的直播装置，所述第一模块还包括捕捉模块，用于：捕捉所述演员的肢体动作、面部表情和声音，转换为与所述角色的人设特性关联的肢体动作数据、面部动作数据和角色混音数据，然后关联至图形引擎中的