一种基于边缘计算的视频流实时云渲染方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115564882A(43)申请公布日2023.01.03(21)申请号202211302617.X(22)申请日2022.10.24(71)申请人广西大学地址530000广西壮族自治区南宁市西乡塘区大学东路100号(72)发明人陈宁江何子琦杨圆圆(74)专利代理机构深圳市六加知识产权代理有限公司44372专利代理师向彬(51)Int.Cl.G06T15/00(2011.01)G06T15/04(2011.01)G06T15/06(2011.01)G06T15/50(2011.01)权利要求书5页说明书12页附图2页(54)发明名称一种基于边缘计算的视频流实时云渲染方法(57)摘要本发明公开了一种基于边缘计算的视频流实时云渲染方法，包括如下步骤：在云服务器中维护场景中的数个NetGIVolume组件，基于云中心服务器渲染流程实时更新辐照度贴图；依据渲染更新策略将贴图作为渲染信息交付由更新代理，对于更新较为频繁的探针采用压缩后的球谐函数因子代替贴图作为渲染信息；更新代理依据边缘端的订阅信息分发渲染信息，边缘服务器通过边缘服务器渲染流程，依据云端分发的渲染信息重构漫反射光照信息，并基于延迟着色管线进行光照计算，最终向用户交付渲染图像。本发明提出的云边协同的实时云渲染模型，能够利用边缘计算降低实时云渲染系统的延迟，消除带宽瓶颈。CN115564882ACN115564882A权利要求书1/5页1.一种基于边缘计算的视频流实时云渲染方法，其特征在于，包括如下步骤：步骤S1：在云服务器中维护场景中的数个NetGIVolume组件，基于云中心服务器渲染流程实时更新辐照度贴图；步骤S2：依据渲染更新策略将贴图作为渲染信息交付由更新代理，对于更新较为频繁的探针采用压缩后的球谐函数因子代替贴图作为渲染信息；步骤S3：更新代理依据边缘端的订阅信息分发渲染信息，边缘服务器通过边缘服务器渲染流程，依据云端分发的渲染信息重构漫反射光照信息，并基于延迟着色管线进行光照计算，最终向用户交付渲染图像。2.如权利要求1所述的基于边缘计算的视频流实时云渲染方法，其特征在于，所述步骤S1具体包括：步骤S11：针对光栅化管线或以光栅化管线为主的混合渲染管线进行分析和拆分，对于多用户在线的实时云渲染应用，仅针对一般性实时渲染进行抽象；步骤S12：通过步骤S11中对光栅化渲染流程的抽象分析，在所有渲染计算当中入射光照计算具有极高的复杂度，将入射光照分解为全局光照和直接光照两部分，计算较为复杂的全局光照卸载至云端计算，直接光照由边缘服务器自行完成，将渲染流程拆分为云端的全局光照渲染计算以及边缘端的渲染着色计算两部分，在边缘服务器丢失与云端的连接时，仍然能够利用过去错误的全局光照信息结合直接光照结果完成着色计算以保障画面的连续性；步骤S13：在云中心的全局光照渲染计算中，云中心服务器在初始场景中铺设覆盖整个场景的多个具有不同优先级的NetGIVolume，在分布成组的光照探针中，每个探针存储球面Irradiance信息和深度信息，Irradiance信息采用8*8的三维向量纹理存储，深度信息采用16*16的二维向量纹理存储，同时每个Volume维护一组探针状态矩阵，探针活跃状态被定义为Dead、Active、Sleep、Awake、Static以及Update，探针初始创建时为Active状态，当探针位于静态物体内部时将会被永久定义为Dead，当探针周围存在可移动的动态网格体时将会被定义为Awake，Stati状态意味着探针周围仅存在静态网格体，Sleep状态代表探针处于开阔地带，周围不存在可被光线投射的网格体，Update标志云端将向边缘端更新探针纹理；Volume中的所有活动探针基于光线追踪对环境光照进行采样。3.如权利要求2所述的基于边缘计算的视频流实时云渲染方法，其特征在于，在所述步骤S11中做如下定义：定义1：3D模型集合positioni、rotatei、scalei代表该模型的位置变换矩阵、旋转变换矩阵以及放缩矩阵，meshi代表模型oi所对应的图元集合，oi＝(meshi,positioni,rotatei,scalei,material)代表模型所用材质，材质与模型不是一一对应的关系；定义2：材质material＝(shader,parameter),其中shader代表材质所对应的着色器程序，parameter确定了着色器的参数设定；定义3：图元集合meshi＝(vi,vni,vti,fi),其中vi代表顶点集合的坐标矩阵，vni代表顶点法线坐标矩阵，vti代表顶点纹理坐标矩阵，fi代表图元绘制的顶点索引矩阵；定义4：光源集合typei包括与光源类型相关的其他参数，li＝2CN1155648