直播视频处理方法、装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113038264A(43)申请公布日2021.06.25(21)申请号202110226833.XG06T19/00(2011.01)(22)申请日2021.03.01(71)申请人北京字节跳动网络技术有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人刘鑫焦少慧王悦(74)专利代理机构北京远智汇知识产权代理有限公司11659代理人范坤坤(51)Int.Cl.H04N21/44(2011.01)H04N21/2187(2011.01)H04N21/81(2011.01)G06T17/20(2006.01)G06T15/04(2011.01)权利要求书2页说明书13页附图2页(54)发明名称直播视频处理方法、装置、设备和存储介质(57)摘要本公开实施例提供一种直播视频处理方法、装置、设备和存储介质。该方法包括：根据采集的当前视频帧和所述当前视频帧对应的深度图像，生成所述当前视频帧对应的目标三维模型；对虚拟对象与所述目标三维模型进行碰撞检测，并渲染碰撞检测结果，其中，所述虚拟对象是在直播过程中所触发的；将渲染结果叠加到所述当前视频帧中，得到合并视频帧，并将所述合并视频帧发送给服务端。该方法能够模拟虚拟对象在真实的直播环境下的运动轨迹，使得直播过程中所触发的互动信息能够与直播视频帧结合紧密，互相融合，从而提高了互动信息与直播视频的结合紧密度。CN113038264ACN113038264A权利要求书1/2页1.一种直播视频处理方法，其特征在于，包括：根据采集的当前视频帧和所述当前视频帧对应的深度图像，生成所述当前视频帧对应的目标三维模型；对虚拟对象与所述目标三维模型进行碰撞检测，并渲染碰撞检测结果，其中，所述虚拟对象是在直播过程中所触发的；将渲染结果叠加到所述当前视频帧中，得到合并视频帧，并将所述合并视频帧发送给服务端。2.根据权利要求1所述的方法，其特征在于，所述对虚拟对象与所述目标三维模型进行碰撞检测，包括：获取虚拟对象在上一视频帧中的运动信息；根据所述运动信息，对所述虚拟对象和所述目标三维模型进行碰撞检测。3.根据权利要求2所述的方法，其特征在于，所述根据所述运动信息，对所述虚拟对象和所述目标三维模型进行碰撞检测，包括：根据所述运动信息，确定所述虚拟对象在所述当前视频帧中的第一目标运动信息，其中，所述第一目标运动信息为没有发生碰撞情况下所述虚拟对象的运动信息；实时检测所述虚拟对象与所述目标三维模型是否发生碰撞；若是，则基于碰撞结果所对应的运动改变信息对所述第一目标运动信息进行修正，得到所述虚拟对象在所述当前视频帧中的第二目标运动信息，并将所述第二目标运动信息作为所述虚拟对象和所述目标三维模型的碰撞检测结果；若否，则将所述第一目标运动信息作为所述虚拟对象和所述目标三维模型的碰撞检测结果。4.根据权利要求3所述的方法，其特征在于，所述目标三维模型包括目标三维网格和所述目标三维网格对应的透明贴图。5.根据权利要求4所述的方法，其特征在于，在检测到所述虚拟对象与所述目标三维模型发生碰撞的情况下，所述碰撞检测结果还包括：所述目标三维模型与所述虚拟对象发生碰撞的碰撞位置；对应地，所述渲染碰撞检测结果，包括：根据所述虚拟对象的颜料信息，对所述碰撞位置所在的目标三维网格对应的透明贴图进行渲染；根据所述第二目标运动信息，对所述虚拟对象进行渲染。6.根据权利要求2所述的方法，其特征在于，在所述根据采集的当前视频帧和所述当前视频帧对应的深度图像，生成所述当前视频帧对应的目标三维模型之前，所述方法还包括：接收观众端发送的互动指令，其中，所述互动指令中包括虚拟对象的初始运动信息；将所述初始运动信息作为所述虚拟对象在直播互动过程中首个视频帧中的运动信息。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据采集的当前视频帧和所述当前视频帧对应的深度图像，生成所述当前视频帧对应的目标三维模型，包括：根据采集的当前视频帧和所述当前视频帧对应的深度图像，生成三维点云；对所述三维点云进行语义分割，得到主播所处环境的环境点云和所述主播的人体点云；2CN113038264A权利要求书2/2页分别对所述环境点云和所述人体点云进行重建，得到对应的环境三维模型和人体三维模型；将所述环境三维模型和所述人体三维模型确定为所述当前视频帧对应的目标三维模型。8.根据权利要求7所述的方法，其特征在于，还包括：将所述人体点云发送给观众端，以使所述观众端基于所述人体点云实现直播特效。9.一种直播视频处理装置，其特征在于，包括：生成模块，用于根据采集的当前视频帧和所述当前视频帧对应的深度图像，生成所述当前视频帧对应的目标三维模型；碰撞检测模块，用于对虚拟对象与