视频画面显示方法、装置、终端及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110610546A(43)申请公布日2019.12.24(21)申请号201810621033.6(22)申请日2018.06.15(71)申请人OPPO广东移动通信有限公司地址523860广东省东莞市长安镇乌沙海滨路18号(72)发明人陈岩刘耀勇(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人牟慧仙(51)Int.Cl.G06T19/00(2011.01)G06T7/50(2017.01)H04N7/15(2006.01)权利要求书2页说明书13页附图5页(54)发明名称视频画面显示方法、装置、终端及存储介质(57)摘要本申请实施例公开了一种视频画面显示方法、装置、终端及存储介质，属于视频会议领域，所述方法用于第一终端，所述方法包括：接收服务器发送的场景数据；根据场景数据在视频界面中显示虚拟场景；接收服务器发送的n组模型数据，n组模型数据由n个第二终端发送，且每组模型数据用于渲染三维人脸模型，所述三维人脸模型根据人脸深度图像和人脸RGB图像构建得到，n≥1，n为整数；根据n组模型数据，渲染得到n个三维人脸模型；在虚拟场景中显示n个三维人脸模型。采用本申请实施例提供的方法能够模拟出多用户在同一场景进行会议的效果；同时，显示的三维人脸模型能够真实反映出用户的面部表情，相较于二维展示更加生动形象。CN110610546ACN110610546A权利要求书1/2页1.一种视频画面显示方法，其特征在于，所述方法用于第一终端，所述方法包括：接收服务器发送的场景数据；根据所述场景数据在视频界面中显示虚拟场景；接收所述服务器发送的n组模型数据，所述n组模型数据由n个第二终端发送，且每组模型数据用于渲染三维人脸模型，所述三维人脸模型根据人脸深度图像和人脸红绿蓝RGB图像构建得到，n≥1，n为整数；根据所述n组模型数据，渲染得到n个所述三维人脸模型；在所述虚拟场景中显示n个所述三维人脸模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过深度摄像组件采集目标人脸深度图像，并通过RGB摄像组件采集目标人脸RGB图像，所述目标人脸深度图像和所述目标人脸RGB图像中包含目标人脸，所述深度摄像组件和所述RGB摄像组件的拍摄角度相同；根据所述目标人脸深度图像和所述目标人脸RGB图像，构建所述目标人脸对应的目标三维人脸模型；向所述服务器发送所述目标三维人脸模型的目标模型数据，所述目标模型数据用于渲染所述目标三维人脸模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标人脸深度图像和所述目标人脸RGB图像，构建所述目标人脸对应的目标三维人脸模型，包括：识别所述目标人脸RGB图像中的目标人脸区域；根据所述目标人脸区域的坐标，获取所述目标人脸深度图像中所述目标人脸区域的人脸深度数据；根据所述人脸深度数据构建所述目标三维人脸模型；根据所述目标人脸区域的RGB数据，对所述目标三维人脸模型进行面部渲染。4.根据权利要求3所述的方法，其特征在于，所述识别所述目标人脸RGB图像中的目标人脸区域，包括：根据所述目标人脸深度图像中各个像素点的深度数据，确定所述目标人脸深度图像中的候选人脸区域；根据所述候选人脸区域，从所述目标人脸RGB图像中提取候选人脸区域RGB图像；识别所述候选人脸区域RGB图像中的所述目标人脸区域。5.根据权利要求2至4任一所述的方法，其特征在于，所述向所述服务器发送所述目标三维人脸模型的目标模型数据之后，所述方法还包括：若所述目标人脸RGB图像中所述目标人脸的表情发生变化时，确定所述目标人脸RGB图像中的面部变化区域；根据所述面部变化区域的坐标，获取所述目标人脸深度图像中所述面部变化区域的人脸深度数据；根据所述人脸深度数据生成目标面部更新数据，所述目标面部更新数据用于更新所述目标三维人脸模型中的部分模型区域；向所述服务器发送所述目标面部更新数据。6.根据权利要求1至4任一所述的方法，其特征在于，所述在所述虚拟场景中显示n个所2CN110610546A权利要求书2/2页述三维人脸模型之后，所述方法还包括：接收所述服务器发送的面部更新数据，所述面部更新数据用于更新所述三维人脸模型中的部分模型区域，所述面部更新数据由所述第二终端检测到所述人脸RGB图像中的人脸表情发生变化时，向所述服务器发送；根据所述面部更新数据，重新渲染所述三维人脸模型的部分模型区域。7.根据权利要求1至4任一所述的方法，其特征在于，所述在所述虚拟场景中显示n个所述三维人脸模型，包括：根据各个第二终端的接入时刻，确定各个所述三维人脸模型在所述虚拟场景中的显示位置；将各个所述三维人脸模型显示在对应的所述显示位置。8.根据权利要求1至4任一所述的方法，其特征在于，所述在