基于虚拟形象的直播方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111200747A(43)申请公布日2020.05.26(21)申请号201811287612.8G06T13/80(2011.01)(22)申请日2018.10.31G06T15/00(2011.01)(71)申请人百度在线网络技术（北京）有限公司地址100085北京市海淀区上地十街10号百度大厦三层(72)发明人李培基王韧竹(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201代理人宋合成(51)Int.Cl.H04N21/431(2011.01)H04N21/442(2011.01)H04N21/2187(2011.01)H04N21/4788(2011.01)G06T13/40(2011.01)权利要求书2页说明书7页附图4页(54)发明名称基于虚拟形象的直播方法和装置(57)摘要本发明提出了一种基于虚拟形象的直播方法和装置，其中，方法包括：采集主播用户的面部深度信息；根据面部深度信息确定主播用户的表情；根据表情渲染预设的虚拟形象的虚拟面部；采集主播用户的音频信息，将音频信息和虚拟面部合成视频帧，将视频帧发送到观看用户客户端。由此，在保证直播的真实性的同时，保护了直播用户的隐私，提高了用户和产品的粘性。CN111200747ACN111200747A权利要求书1/2页1.一种基于虚拟形象的直播方法，其特征在于，包括以下步骤：采集主播用户的面部深度信息；根据所述面部深度信息确定所述主播用户的表情；根据所述表情渲染预设的虚拟形象的虚拟面部；采集所述主播用户的音频信息，将所述音频信息和所述虚拟面部合成视频帧，将所述视频帧发送到观看用户客户端。2.如权利要求1所述的方法，其特征在于，所述采集主播用户的面部深度信息，包括：通过点阵投影器向所述主播用户面部投射多个光点；拍摄经所述主播用户面部调制的结构光图像；解调所述结构光图像的各个像素对应的相位信息获取所述主播用户的面部深度信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述面部深度信息确定所述主播用户的表情，包括：查询预设的第一表情数据库，获取与所述面部深度信息对应的表情；或者，计算所述面部深度信息与上次采集的面部深度信息的深度变化信息，查询预设的第二表情数据库，获取与所述深度变化信息对应的表情。4.如权利要求1所述的方法，其特征在于，还包括：获取所述主播用户的用户特征和直播场景特征；根据所述用户特征和直播场景特征生成虚拟形象。5.如权利要求1所述的方法，其特征在于，所述根据所述表情渲染预设的虚拟形象的虚拟面部，包括：构建与所述虚拟面部对应的虚拟立绘模型，其中，所述虚拟立绘模型包括：与所述虚拟面部中的各器官对应的包含关键点的网格区域；查询预设的二维动画编辑数据库，获取与所述表情对应的目标器官和调整参数；根据所述调整参数调整与所述目标器官对应的目标网格对所述虚拟面部进行渲染。6.一种基于虚拟形象的直播装置，其特征在于，包括：采集模块，用于采集主播用户的面部深度信息；确定模块，用于根据所述面部深度信息确定所述主播用户的表情；渲染模块，用于根据所述表情渲染预设的虚拟形象的虚拟面部；合成模块，用于采集所述主播用户的音频信息，将所述音频信息和所述虚拟面部合成视频帧；发送模块，用于将所述视频帧发送到观看用户客户端。7.如权利要求6所述的装置，其特征在于，所述采集模块，包括：投射单元，用于通过点阵投影器向所述主播用户面部投射多个光点；拍摄单元，用于拍摄经所述主播用户面部调制的结构光图像；获取单元，用于解调所述结构光图像的各个像素对应的相位信息获取所述主播用户的面部深度信息。8.如权利要求7所述的装置，其特征在于，所述确定模块，具体用于：查询预设的第一表情数据库，获取与所述面部深度信息对应的表情；2CN111200747A权利要求书2/2页或者，计算所述面部深度信息与上次采集的面部深度信息的深度变化信息，查询预设的第二表情数据库，获取与所述深度变化信息对应的表情。9.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令处理器执行时实现如权利要求1-5中任一所述的基于虚拟形象的直播方法。10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的基于虚拟形象的直播方法。3CN111200747A说明书1/7页基于虚拟形象的直播方法和装置技术领域[0001]本发明涉及直播技术领域，尤其涉及一种基于虚拟形象的直播方法和装置。背景技术[0002]随着计算机技术的发展，依托于计算机技术的娱乐行业也越来越丰富，比如，依托于计算机技术的直播行业作为新兴行业，受到了越来越广泛的关注，比如，游戏直播、直播销售等。[0003]相关技