信息论基础——信道容量的计算.ppt

2.2.二进删除信道—M信道
X={0,1};Y={0,2,1}
对称离散信道的信道容量那么，在什么样的信源输出情况下，信道输出能等概分布呢？
可以证明，Eg.求信道容量我们首先从一个例子开始
例：二元无记忆对称信道得二次扩展信道。
二元记忆对称信道为可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。因此，如果信源、信道都是无记忆的数据可靠传输和信道编码
①互信息I(X；Y）是输入信源的概率分布p(x)的上凸函数；
——每个固定信道都有一个最大的信息传输率，即信道容量C.
②最佳入口分布不一定是唯一的，但是最佳输出分布是唯一的；
——单位时间内信道的最大信息传输率，即
③常见信道的信道容量C：
——无噪信道
③常见信道的信道容量C：
——离散对称信道1信道容量的计算原理
C是选择不同的输入概率分布p(x),在满足
∑p(x)=1条件下，求互信息的极大值：例1、设某二进制数字传输系统接收判决器
的输入信号电平、噪声密度分布及判决电平
如下图所示.试求：
(1)信道模型；(2)平均互信息；(3)信道容量.解2）令，则Y的概率分布为3）为求信道容量，对平均互信息求驻点：2达到信道容量输入分布的充要条件结论：当信道互信息达到信道容量时，输入信源符号集
中每一个信源符号对输出端y提供相同的互信息，只是
概率为零的符号除外.
这个结论和直观概念是一致的：
在某给定的输入分布下，若有一个输入符号xi对输出y所
提供的互信息比其他输入符号所提供的互信息大，那
么，我们就可以更多地使用这一符号来增大互信息.但
是，这就会改变输入符号的概率分布，必然使这个符号
的互信息减小，而其他符号对应的互信息增加。所以，
经过不断调整输入符号的概率分布，就可使每个概率不
为零的输入符号对输出Y提供相同的互信息.例2一个信道的信道矩阵为
解：由x＝0和x＝2时信道的对称性以及x＝1时的不可靠传输，可以假定最佳输入概率分布为

所以假定的输入分布确实是最佳输入分布，这时
信道容量为习题1：求下述信道的信道容量.习题2：求下述信道的信道容量.Z信道可得：定理4.2.2一般离散信道达到信道容量的充要条件是入口概率分布满足可得：可整理为：解方程组，求信道容量可得例：解之得：信源与信道的匹配如何才能做到匹配呢？
一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率.这就是香农无失真信源编码理论，也就是无失真数据压缩理论.
无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵.这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配.数据可靠传输和信道编码