一种基于数字孪生的云渲染系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012519A(43)申请公布日2023.04.25(21)申请号202310026317.1(22)申请日2023.01.09(71)申请人广州运帷数孪科技有限公司地址510000广东省广州市黄埔区科学城彩频路7号之一801、803房(72)发明人杨波刘凯(74)专利代理机构重庆壹手知专利代理事务所(普通合伙)50267专利代理师罗燕(51)Int.Cl.G06T15/50(2011.01)H04L67/02(2022.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于数字孪生的云渲染系统(57)摘要本发明涉及云渲染技术领域，公开了一种基于数字孪生的云渲染系统，包括运行在GPU上的云渲染器、运行在浏览器上的Web3D渲染器和孪生数据服务中心，所述孪生数据服务中心分别连接所述云渲染器和Web3D渲染器，所述云渲染器与所述Web3D渲染器之间通过WebSocket协议进行通信。本发明提供的基于数字孪生的云渲染系统，使用体素化全局光照算法，将光照数据直接存储到光照贴图中，然后通过H.264视频流的方式将光照信息传递给前端，充分利用了光照贴图视点无关的特性，前端仅需要在Shader阶段采样贴图即可获取光照数据，根据UV坐标着色到物体表面，解决了物体不重叠的问题。CN116012519ACN116012519A权利要求书1/2页1.一种基于数字孪生的云渲染系统，其特征在于，包括运行在GPU上的云渲染器、运行在浏览器上的Web3D渲染器和孪生数据服务中心，所述孪生数据服务中心分别连接所述云渲染器和Web3D渲染器，所述云渲染器与所述Web3D渲染器之间通过WebSocket协议进行通信；用户通过所述Web3D渲染器中的场景编辑器进行场景编辑，所述云渲染器接收所述场景编辑器中改动的数据，并将改动的数据同步至原始3D场景，进而进行GBuffer预计算、Lightmap生成和Lightmap编码流式化传输；所述Web3D渲染器接收传输的数据并进行Lightmap解码、Web前端直接光照计算和Web渲染器后处理，得到最终的渲染效果并输出；所述孪生数据服务中心接收所述云渲染器和所述Web3D渲染器的运行过程中的所有数据，并对所述运行过程中的所有数据进行解析、存储和转发。2.根据权利要求1所述的基于数字孪生的云渲染系统，其特征在于，在所述云渲染器中，所述GBuffer预计算为对虚拟场景光照计算中需要使用的模型相关信息进行预计算，并将其保存在相关贴图中；其中，相关信息包括深度信息、法线信息或顶点信息；所述Lightmap生成为根据用户交互操作，确定Lightmap计算范围，进行标记，并通过贴图空间全局光照算法生成Lightmap；所述Lightmap编码流式化传输为对Lightmap进行H.264编码，并将其流式化传往Web前端。3.根据权利要求2所述的基于数字孪生的云渲染系统，其特征在于，所述对虚拟场景光照计算中需要使用的模型相关信息进行预计算，并将其保存在相关贴图中时，若场景中的模型位置发生变化，则该阶段需要不断的更新，否则只需要生成一次即可。4.根据权利要求1所述的基于数字孪生的云渲染系统，其特征在于，在所述Web3D渲染器中，所述Lightmap解码为对从云服务器端接收到的H.264数据流进行解码并还原成Lightmap；所述Web前端直接光照计算为通过Web渲染器对Web3D场景的直接光照进行渲染；所述Web渲染器后处理为通过采样Lightmap获得全局光照漫反射和镜面反射数据以获取最终的渲染效果并输出。5.根据权利要求2所述的基于数字孪生的云渲染系统，其特征在于，所述生成Lightmap的过程中包括：Lightmap的UV坐标的获取：将三角网络参数化到二维UV空间中去，并将UV缩放、平移，打包到一个[0,1]的范围中，形成Lightmap图集，Lightmap的UV保证场景中每一个表面都于贴图的一块一一对应，不与其他物体有重叠；UV的参数化及打包操作通过UVAtlas或RizomUV完成，最后将生成后的UV坐标数据填入模型顶点的第二套UV通道中；Lightmap的纹素生成与存储：确定着色方程以及着色方程分解的直接光照部分和间接光照部分，所述直接光照部分由前端Web应用程序直接渲染，所述间接光照部分通过实时全局光照算法、记录SH的LightProbe或者环境贴图提供，最终合并成漫反射部分和高光部分，直接将6个低精度，即RGB565颜色值直接存到RGBA8888的32位通道中。2CN116012519A权利要求书2/2页6.根据权利要求5所述的基于数字孪生的云渲染系统，其特征在于，所述着色方程为：其中，L0为出射的辐射度，看到的物体表面的颜色，由rgb表示；为第