香农公式省公开课一等奖全国示范课微课金奖PPT课件.pptx

信息论与编码香农信息论理论体系2Shannon’s编码定理体系
(TheShannon’sCodingTheoremSystem)
名称将定理3.3推广到L次扩展信源---
香农第一定理：变长编码定理Shannon第一定理物理意义：
信源编码时，应使编码后码集中各码字尽可能等概分布，若将该码集看成一个新信源，此时新信源所含信息量最大。Shannon第一定理物理意义：

信源编码时，应使编码后码集中各码字尽可能等概分布，若将该码集看成一个新信源，此时新信源所含信息量最大。

最大化去除统计冗余性

能够作为一个编码方法指导：
对离散信源进行适当变换，码符号信源(信道输入)尽可能等概率分布,所含信息量到达最大,从而使信道信息传输率R到达信道容量C,实现信源与信道理想统计匹配。一样用编码效率来衡量编码情况是否理想。用比值定义：①.相关对信源客观描述即H(X)问题，注意这种描述是与信道、
信宿无关，它仅反应信源本身含有信息度量和它发送信息能力。
②.指怎样描述给定信道功效特征，这也是在与信源、信宿无
关条件下，纯客观地评价一个信道固有特征问题。即，C是反应
当给定信道后与某种信源处于最正确匹配时最大信息传输量问题。
③.指了解信宿与信源之间某种需求而且表达与信道无关客
观描述——R(D)信息率失真函数。数据压缩是信息传输和处理主要研究内容。

率失真理论研究就是在允许一定失真前提下，对信源压缩编码。

率失真信源编码定理（香农第三定理）指出：率失真函数R(D)就是在给定失真测度条件下，对信源熵可压缩最低程度。
13香农第二定理：有噪信道编码定理

离散、无记忆、平稳信道，信道容量为C，只要待传送信息率R<C，就一定能找到一个信道编码方法，使得码长N足够大时，平均差错率Pe任意靠近于零。

香农（1948）第二定理是存在性定理，它指出在R<C时，必定存在一个好信道编码方法，使Pe迫近零。但并没有给出编码详细方法。
提升数据传输可靠性方向有噪信道编码逆定理

离散、无记忆、平稳信道，信道容量为C，假如信息率R>C，则必定找不到一个信道编码方法，使得码长N足够大时，平均差错率任意靠近于零。信道编码指导意义
当取信道容量C以下信息传输率时，以指数趋进于0；当取分界点以下信息传输率时，以指数趋进于1；所以在任何信道中:
信道容量都是可达、最大可靠信息传输率。

存在定理，它没有给出一个详细可结构编码方法，但有利于指导各种通信系统设计，有利于评价各种系统及编码效率。离散无记忆平稳信源信息率失真函数为R(D),只要满足R＞R(D),当信源序列L足够长时，一定存在一个编码方法（存在一个试验信道），其译码失真（平均失真）小于或等于D＋ε，

其中ε是任意小正数；
反之，若R＜R(D),则不论采取什么样编码方法，其译码失真必大于D.18192021Shannon’s编码定理体制