基于视觉特性的视频编码理论与方法研究教材.docx

编号：
时间：2021年x月x日
书山有路勤为径，学海无涯苦作舟页码：第页共NUMPAGES70页
第PAGE\*MERGEFORMAT69页共NUMPAGES\*MERGEFORMAT70页

项目名称：基于视觉特性的视频编码理论与方法研究首席科学家：高文北京大学起止年限：2009.1至2013.8依托部门：教育部
一、研究内容
由于可以有效节省通信带宽和存储容量，高效率的视频编码技术已经成为数字视频广播(广播网)、数字媒体存储与网络传输(计算机网络)、以及多媒体通讯(通信网)等数字媒体产业的共性关键技术。特别是近年来，我国的数字媒体产业迅猛发展，年均产值已近万亿元，使得音视频编解码标准技术的地位越来越重要。经过多年努力，2006年中国终于有了自己的视频编码国家标准AVS。但我们仍需未雨绸缪，从模型、理论、方法和技术上为下一代视频编码国家标准和国际标准的制定早做准备，确保在下一轮的标准竞争中立于不败之地。
从视频编码的需求角度看，编码的主要动机是在尽量保证高质量视觉效果的前提下最大限度地降低码率，达到压缩的目的。众所周知，人类视觉系统的信息处理能力远远超过目前的视频处理系统，因此，从方法论上借鉴人类视觉系统的视觉信息处理基本神经机制和心理机理，构建统一的图像/视频基本结构与表示模型及其相应的视觉计算方法，发展将香农信息论与人类视觉系统信息处理原理相结合的高效视觉信息编码理论与方法，就成为了本项目的基本出发点和立项依据。
视频编码处理的核心环节要对视频中包含的视觉信息进行高效的表达和准确的重建，其本质是视觉信息的基本结构和有效表示问题。为此，我们需要探讨以下关键科学问题：
视频编码可以借鉴的视觉信息处理机理是什么？作为长期进化的结果，人类视觉信息处理系统是至为精致的生物系统之一。但遗憾的是，其基本神经机制、知觉和认知机理目前尚不完全清晰。本项目将从多学科交叉的角度出发，探索视觉信息处理的基本神经机制和认知机理，研究相应的理论和模型，对其进行实验验证与计算仿真，以期能够用以指导建立更加有效的视觉计算模型。
视频编码可以利用的符合视觉信息处理机理的计算模型是什么？尽管人类视觉系统的信息处理机理尚不完全明了，但随着技术手段的提高，脑科学、神经科学和认知心理学专家已经掌握了越来越多的规律并提出了很多假说和模型。如何基于这些发现构建相应的、可计算的视觉信息处理数学模型就成为一个重要的基础科学问题。其解决不仅可以有效促进视觉编码技术的发展，还可以从计算模拟的角度反过来推动视觉基本机理的研究。
与人类视觉系统特性相吻合的视频表示及编码的理论是什么？香农信息论虽然从理论上给出了编码效率的上界和失真的关系，但并未考虑编码的符号(事件)集，因而对视频中高阶相关缺乏有效的描述手段。视觉信息论试图借鉴神经生理学在不同感知阶段对感知对象的抽象，建立对应的符号(事件)集，使之能够方便地描述高阶相关性，体现语义结构，从而丰富信息论理论。符号(事件)是借鉴稀疏编码理论通过采用贝叶斯计算视觉感知的后验概率建立的。这将为高效视频编码提供指导性的理论基础。
上述三个关键科学问题紧紧围绕视觉信息处理系统中最核心的表示与编码问题，分别从生理/心理基本机理、视觉信息处理计算模型、视频编码基础理论三个层面展开。其中，视觉基本机理既是基本出发点也是落脚点，计算模型是桥梁和纽带，视觉信息论则是设计和实现下一代视频编码方法和技术的理论基础。
围绕上述三个关键科学问题，我们提出的总体研究内容框架如图2所示，以期建立解决这些问题的模型、理论和方法，构建相应的验证平台和原型系统。如图所示，对应三个关键科学问题，本项目的主要研究内容自底向上分别建立在三个层面，即：机理与模型层，理论与方法层，关键技术与验证层。下面我们分别从这三个层面对本项目的主要研究内容进行阐述。
2.1视觉基本机理与模型层
该层面的研究内容面向的科学问题主要是前两个：视觉信息处理的基本机理和符合这些基本机理的计算模型。不难理解，二者有天然的紧密联系：一方面，视觉信息处理基本机理为视觉信息处理的计算仿真、计算模型建立等提供了良好的生理学和心理学参照系，对其基本规律的认识为计算模型的建立提供了良好的技术可能性和努力方向。另一方面，计算模型也为基本机理的正确性和模型的有效性提供了验证机会，有利于推动视觉基本机理的研究。下面分别叙述本项目在视觉基本机理和计算模型方面拟开展的研究。
2.1.1视觉信息处理基本机理研究
在视知觉机理方面，将主要从生理、心理角度，通过神经电生理学、视觉行为学、药物学等研究手段，在灵长类动物上采用包括微电极矩阵记录方法、高时间分辨率的事件相关电位(ERP)、功能核磁共振(fMRI)等技术手段从初级视觉皮层V1神经元群体反应特性入手，研究V1神经元经典和非经典感受野与上级视觉