预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

在线预览结束,喜欢就下载吧,查找使用更方便

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113781656A(43)申请公布日2021.12.10(21)申请号202110640868.8(22)申请日2021.06.09(30)优先权数据63/037,5822020.06.10US(71)申请人宏达国际电子股份有限公司地址中国台湾桃园市(72)发明人杨荣森武景龙蔡程纬陈俊霖(74)专利代理机构北京市柳沈律师事务所11105代理人李芳华(51)Int.Cl.G06T19/00(2011.01)权利要求书3页说明书5页附图1页(54)发明名称混合渲染系统和混合渲染方法(57)摘要本公开提供一种混合渲染系统和混合渲染方法。混合渲染系统包含客户端装置,客户端装置经配置以进行以下操作:判定虚拟环境的至少一用户可交互对象;渲染至少一用户可交互对象;接收虚拟环境的背景场景帧;将经渲染的所述至少一用户可交互对象与背景场景帧混合为虚拟环境的视觉内容;以及提供虚拟环境的视觉内容。因此,可更好地保证视觉内容中经渲染的用户可交互对象的质量和时延,进而改善用户体验。CN113781656ACN113781656A权利要求书1/3页1.一种混合渲染系统,其特征在于,包括:客户端装置,经配置以进行以下操作:判定虚拟环境的至少一用户可交互对象;渲染所述至少一用户可交互对象;接收所述虚拟环境的背景场景帧;将经渲染的所述至少一用户可交互对象与所述背景场景帧混合为所述虚拟环境的视觉内容;以及提供所述虚拟环境的所述视觉内容。2.根据权利要求1所述的混合渲染系统,其中所述客户端装置包括虚拟现实系统的头戴式显示器,或是包括连接于所述头戴式显示器的计算装置,其中所述虚拟现实系统提供对应于所述虚拟环境的虚拟现实服务。3.根据权利要求2所述的混合渲染系统,其中所述虚拟环境包括对应于所述虚拟现实系统的所述头戴式显示器的用户代表对象,且各所述用户可交互对象包括与所述用户代表对象相距预定距离内的虚拟对象。4.根据权利要求2所述的混合渲染系统,其中所述虚拟现实系统更包括连接于所述客户端装置的至少一手持控制器,且所述虚拟环境包括对应于所述至少一手持控制器的至少一控制器代表对象,其中各所述用户可交互对象包括与各所述控制器代表对象相距预定距离内的虚拟对象。5.根据权利要求2所述的混合渲染系统,其中所述虚拟现实系统更包括连接于所述客户端装置的至少一手持控制器,所述虚拟环境包括对应于所述至少一手持控制器的至少一控制器代表对象,且所述至少一用户可交互对象包括对应于所述至少一手持控制器的所述至少一控制器代表对象。6.根据权利要求2所述的混合渲染系统,其中所述虚拟现实系统更包括连接于所述客户端装置的至少一手持控制器,且所述虚拟环境包括对应于所述至少一手持控制器的至少一控制器代表对象,所述至少一控制器代表对象随着所述至少一手持控制器移动,且所述客户端装置还经配置以进行以下操作:预测各所述控制器代表对象在预定时间内的移动路径;获得所述预定时间内在各所述控制器代表对象的所述移动路径上的至少一虚拟对象;以及将所述至少一虚拟对象定义为所述至少一用户可交互对象。7.根据权利要求2所述的混合渲染系统,其中所述虚拟环境包括对应于所述虚拟现实系统的头戴式显示器的用户代表对象,且所述客户端装置还经配置以进行以下操作:预测所述用户代表对象在预定时间内的移动路径;获得所述预定时间内在所述用户代表对象的所述移动路径上的至少一虚拟对象;以及将所述至少一虚拟对象定义为所述至少一用户可交互对象。8.根据权利要求1所述的混合渲染系统,更包括连接到所述客户端装置的远程服务器,且所述远程服务器经配置以进行以下操作:判定所述虚拟环境的背景部分;将所述背景部分渲染为所述背景场景帧;以及2CN113781656A权利要求书2/3页将所述背景场景帧传输到所述客户端装置。9.根据权利要求8所述的混合渲染系统,其中所述远程服务器还经配置以进行以下操作:判定所述虚拟环境中的富文本对象;将所述富文本对象渲染为额外图像;以及将所述额外图像传输到所述客户端装置,其中所述客户端装置进一步将所述额外图像与经渲染的所述至少一用户可交互对象和所述背景场景帧混合为所述虚拟环境的所述视觉内容。10.根据权利要求9所述的混合渲染系统,其中所述远程服务器通过分别使用具有不同帧速率的不同流来传输所述额外图像和所述背景场景帧。11.根据权利要求1所述的混合渲染系统,其中所述客户端装置还经配置以进行以下操作:响应于判定在所述背景场景帧的第一帧部分处发生解码错误,获得先前背景场景帧的第二帧部分,其中所述第二帧部分对应于所述第一帧部分;以及将所述第二帧部分重新投影为第三帧部分且用所述第三帧部分替换所述第一帧部分。12.一种混合渲染方法,适用于混合渲染系统的客户端装置,其特征在于,所述方法包