数字视频技术论文-多视点视频编解码.docx

多视点视频编解码吕永超[摘要]与二维视频编码有所不同，多视点视频编码还存在不同视点间的空间冗余，因此除了进行运动估计和运动补偿外，还需要对立体视频进行视差补偿预测，来消除视点间的空间冗余，提高视频压缩的效率。大模块所占比率大，耗时少，小模块所占比例小，但是耗时多。而且，立体视频编码中，小模块模式相对于平面视频编码所占的比例更少，这也说明了立体视频编码中模式选择的重要性。JMVC测试模型遍历所有模式然后选择最优编码模式，致使编码速度低下。我们通过快速模式选择，尽可能的减少小模块模式的预测，在保证图像质量和压缩效率的基础上，大幅度的提高了立体视频编码速度。CPU单独解码效率较低，最多仅能支持6个视点1280X720P格式的高清视频实时解码。而基于本文提出的CPU和GPU混合解码技术，由于IDCT和彩色空间变换这些并行运算均有GPU完成，充分发掘了当前GPU的特点，CPU主要负责解码控制类型的运算，整体解码运算效率较高，可以实时解码8个视点的1280X720P格式的高清视频。[关键词]多视点视频快速帧间模式选择IDCT和图像彩色空间变换目录第一章绪论1第二章多视点视频编码12.1多视点视频编码原理12.2视频编码方案22.3立体视频运动估计搜索算法32.4快速帧间模式选择32.5本章小结3第三章基于GPU和CPU混合运算的解码技术43.1IDCT运算在GPU上实现的基本原则43.2图像彩色空间变化在GPU上的实现43.3本章小结4参考文献55第一章绪论立体视频压缩与平面视频压缩的主要区别在于立体视频压缩利用了视点间的视差信息进行编码，大幅度的提高了压缩率，从而也解决了立体视频庞大数据信息的存储和传输问题。编码优化包括快速运动估计搜索算法的实现以及快速帧间模式选择算法的实现，它们都是在保证立体视频编码质量的前提下，提高立体视频的编码速度。解码器移植包括PC端和WM手机端实现H.264解码并显示。视频编码框图，主要包括参考帧管理，运动估计，模式选择，变换，量化，重排列和嫡编码几个部分。JMVC是通过参考帧管理实现进行运动估计和视差估计的，从而确保了视频编码的高效率。本文主要工作集中在虚线框中的运动估计和模式选择部分，在帧间预测时通过实现S-UMHexagonSearch算法提高运动搜索的速率，在模式选择部分进行快速模式选择，提前判断最优模式，降低编码复杂度，从而提高编码速率。变换一般是用来去除图像信号中的相关性并减少图像编码的动态范围，量化则是用来减少图像编码长度，减少图像恢复中不必要的信息，二者的目的都是降低码率，实现图像压缩。嫡编码是无损压缩，解码时能够无失真的恢复原数据，它实现了图像信息到数字信号的转换。第二章多视点视频编码本章首先介绍了多视点视频编码原理方案和立体视频运动估计搜索算法;然后详细介绍了快速帧间模式选择。2.1多视点视频编码原理多视点视频编码原理如下图所示，ME代表运动估计，DE代表视差估计，MD代表模式选择，T代表变换，Q代表量化，R代表重排列，E代表嫡编码，T-1代表反变换，Q-1代表反量化。以两视点为例，进行立体视频编码。(1)第一视点按照二维视频编码(H.264的步骤进行编码。(2)第二视点第一帧，采用帧内预测的同时，以第一视点第一帧为参考进行视差补偿预测，并存储视差矢量和残差。(3)第二视点非第一帧，以第二视点己编码帧为参考进行运动补偿预测，遍历所有模式，记录最优预测块的运动矢量MV1、残差D开销COST1;然后以第一视点同一时间的图像为参考进行视差补偿预测，遍历所有模式，记录最优块的视差矢量DV2、残差D2及开销COST2;选择开销最小的模式为最佳编码模式，记录矢量和残差。借鉴单视点视频编码的运动补偿技术来实现视差补偿，消除视点间的冗余信息。具体实现方法如下:首先将视点间的参考图像和同一视点编码的参考图像统一放入参考图像列表进行管理，然后利用匹配算法搜索得到最佳匹配块，接着将当前编码块和预测块做差值，得到残差和矢量(MV/DV)，最后对残差进行压缩编码。这也是JVT推荐的测试模型JMVC中使用的处理方法。2.2视频编码方案JMVC测试模型在立体视频压缩方面有着高效的压缩效率及优良的参考帧管理机制。我们选择使用JMVC测试模型进行立体视频压缩，但是其编码速度极其缓慢，我们就必须进行JMVC编码速率优化。本文主要从运动估计搜索算法和快速模式选择算法两个方面着手，实现编码速率的提高。2.3立体视频运动估计搜索算法几种常见的搜索算法有:全局搜索算法、三步搜索法、菱形搜索法、以及复合搜索算法等。由于物体的运动千变万化，很难用一种简单的模型去描述，所以实际上大多采用多种搜索算法的组合方式，即复合搜索算法。采用符合搜索算法可以很大程度上提高预测的编码效率和性能。2.4快速帧间模式选择在立体视频编码过程中，由于视差估计的