数字人直播方法、装置、直播管理设备及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113473159A(43)申请公布日2021.10.01(21)申请号202010167143.7(22)申请日2020.03.11(71)申请人广州虎牙科技有限公司地址511400广东省广州市番禺区钟村街（汉溪商业中心）泽溪街13号1301(72)发明人简伟华吴昊邱振谋许杰方少伟谢鸿华(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人张欣欣(51)Int.Cl.H04N21/2187(2011.01)H04N21/44(2011.01)G06T15/00(2011.01)G06T13/40(2011.01)权利要求书2页说明书13页附图5页(54)发明名称数字人直播方法、装置、直播管理设备及可读存储介质(57)摘要本申请提供一种数字人直播方法、装置、直播管理设备及可读存储介质，涉及互联网直播领域。本申请通过直播管理设备获取至少一台动捕设备采集到的演员肢体动作数据以及至少一台面捕设备采集的演员面部表情数据，接着确定与目标数字人模型对应的目标动作数据及目标表情数据，而后按照目标动作数据及目标表情数据驱动目标数字人模型在预设虚拟场景中运行，并实时对目标数字人模型及预设虚拟场景进行图像渲染，最后基于数字人模型所具有的高拟真度特性及图像渲染可优化画面协调性的特性，结合虚拟场景与数字人模型向观众输出画面协调性好且主播形象拟真度高的图像画面进行直播，以增强观众的直播观看代入感，优化直播互动效果。CN113473159ACN113473159A权利要求书1/2页1.一种数字人直播方法，其特征在于，应用于直播管理设备，所述直播管理设备存储有至少一个数字人模型，所述方法包括：获取至少一台动捕设备针对动捕演员所采集的演员肢体动作数据，并获取至少一台面捕设备针对面捕演员所采集的演员面部表情数据；在获取到的演员肢体动作数据及演员面部表情数据中确定与目标数字人模型对应的目标动作数据及目标表情数据；按照所述目标动作数据及所述目标表情数据驱动所述目标数字人模型在预设虚拟场景中运行，并实时对所述目标数字人模型及所述预设虚拟场景进行图像渲染；将实时渲染得到的目标图像画面发送给观众端设备进行直播。2.根据权利要求1所述的方法，其特征在于，所述直播管理设备还存储有每个数字人模型所对应的模型标识，每台动捕设备所采集的演员肢体动作数据包括其针对的数字人模型的模型标识，每台面捕设备所采集的演员面部表情数据也包括其针对的数字人模型的模型标识，所述在获取到的演员肢体动作数据及演员面部表情数据中确定与目标数字人模型对应的目标动作数据及目标表情数据，包括：对每条演员肢体动作数据所对应的模型标识及每条演员面部表情数据所对应的模型标识进行识别；建立相同模型标识的数字人模型、演员肢体动作数据及演员面部表情数据之间的映射关系，得到与该模型标识对应的目标数字人模型的目标动作数据及目标表情数据。3.根据权利要求1所述的方法，其特征在于，所述按照所述目标动作数据及所述目标表情数据驱动所述目标数字人模型在预设虚拟场景中运行，包括：直接按照所述目标动作数据驱动处于预设虚拟场景中的所述目标数字人模型执行对应的肢体动作；直接按照所述目标表情数据驱动处于预设虚拟场景中的所述目标数字人模型调整对应的面部表情。4.根据权利要求1所述的方法，其特征在于，所述按照所述目标动作数据及所述目标表情数据驱动所述目标数字人模型在预设虚拟场景中运行，包括：对所述目标动作数据与所述目标表情数据进行数据整合，得到目标驱动数据；基于所述目标数字人模型对所述目标驱动数据进行数据修正，得到与所述目标数字人模型匹配的目标执行数据；按照所述目标执行数据驱动处于预设虚拟场景中的所述目标数字人模型表达对应的肢体动作及面部表情。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取至少一台面捕设备针对面捕演员所采集的演员声音数据，其中来自同一台面捕设备的演员面部表情数据与演员声音数据相互关联；在接收到的演员声音数据中确定与所述目标数字人模型对应的目标声音数据；将所述目标声音数据发送给接收到同一目标数字人模型所对应的目标图像画面的所述观众端设备进行音频播放。6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述方法还包括：获取目标真实人物的全身扫描数据；2CN113473159A权利要求书2/2页根据获取到的所述全身扫描数据创建与所述目标真实人物匹配的数字人模型。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据场景需求构建至少一个预设虚拟场景，其中所述场景需求包括特效需求、音效需求、布景需求、灯效需求中的任意一种或多种组合；针对待直播的每个数字人模型，为该数字人模型分配一个预设虚拟场景，并将该数字人模型加载