一种基于模型预测控制的点云视频流自适应传输方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113395603A(43)申请公布日2021.09.14(21)申请号202110709837.3H04N21/234(2011.01)(22)申请日2021.06.25H04N21/2662(2011.01)(71)申请人合肥工业大学地址230009安徽省合肥市包河区屯溪路193号(72)发明人黎洁王慧宇李奇越张聪王枭陈勇彭涛韩玲(74)专利代理机构安徽省合肥新安专利代理有限责任公司34101代理人陆丽莉何梅生(51)Int.Cl.H04N21/81(2011.01)H04N19/176(2014.01)H04N19/597(2014.01)H04N19/186(2014.01)权利要求书5页说明书12页附图2页(54)发明名称一种基于模型预测控制的点云视频流自适应传输方法(57)摘要本发明公开了一种基于模型预测控制的点云视频流自适应传输方法，包括：1.将每帧的点云视频在空间上进行均匀切分，并将每个切块压缩编码成不同质量等级的版本；2.将点云视频序列帧在时间上分组，以帧组为最小单位；3.将不同质量等级的切块储存在服务器中，并生成其描述文件；4.服务器端根据MPC算法，并以构造的QOE作为目标函数，选取下一帧组要下载的合适的质量等级，以保证QOE目标函数尽可能大；5.客户端合适的切块后将其解码，融合，渲染然后即时播放。本发明能够在网络环境波动的情况下有一定的预见性，稳定控制buffer，并减少冻结、频繁的质量切换等严重影响用户观看体验地发生次数，以保证用户观看体验。CN113395603ACN113395603A权利要求书1/5页1.一种基于模型预测控制的点云视频流自适应传输方法，是应用在点云视频服务器和点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特征是，所述点云视频自适应传输方法按如下步骤进行：步骤一、将整个点云视频在时间上均等划分为K个帧组，记为{GOF1,GOF2,...,GOFk,...,GOFK}，其中，GOFk表示点云视频中的第k个帧组，且1≤k≤K；将第k个帧组GOFk在空间上均匀切分为C＝a1×a2×a3尺寸的切块，并得到切块集合记为{BLOCKk,1,BLOCKk,2,...,BLOCKk,c,...,BLOCKk,C}，其中，BLOCKk,c表示第k个帧组GOFk的第c个切块，1≤c≤C；a1,a2,a3分别为切块长、宽、高；将第c个切块BLOCKk,c压缩成L种不同码率等级的切块，得到压缩后的切块集合记为{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}，其中，Ik,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c压缩得到的第l种码率等级的切块，从而得到所有切块的压缩后的切块集合并储存在点云视频服务器中；1≤l≤L；将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的点数的集合记为{Pk,c,1,Pk,c,2,...,Pk,c,l,...,Pk,c,L}，其中，Pk,c,L表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所包含的点数；将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的数据量的集合记为{Sk,c,1,Sk,c,2,...,Sk,c,l,...,Sk,c,L}，其中，Sk,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的数据量大小；将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}的解码时间的集合记为{Ck,c,1,Ck,c,2,...,Ck,c,l,...,Ck,c,L}，其中，Ck,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所需的解码时间；将每个帧组下载过程的平均带宽集合记为{B1,B2,...,Bk...,BK}，其中，Bk表示第k个帧组GOFk下载过程中的平均带宽；步骤二、计算每个码率的切块的客观质量；步骤三、建立最优目标函数及其约束条件并作为用户观看体验模型；步骤四、使用模型预测控制方法对所述用户观看体验模型求解，获得当前环境参数下的下行传输决策变量，并传输至点云视频服务器；步骤五、所述点云服务器将对应下行传输决策变量的点云切块传输到点云播放客户端，点云播放客户端下载、解码并融合后，送入缓冲区以在VR头盔中播放。2.根据权利