离散信道的信道容量.ppt

第5章
离散信道的信道容量第5章离散信道的信道容量5.1信道容量的定义5.2离散无记忆信道容量的计算（2）对每个i,输入分布q(xi)可使I(Xi;Yj)达到信道容量C，则：

==NC

CNNC (5-5)5.2.1达到信道容量的充要条件介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。
2.根据定义计算信道容量C

从上式可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有
3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（5-6）对C进行验证：

先根据计算出ω(yj)，j=1,2,3,4,5,6再计算出：5.2.2几类特殊的信道【例5.6】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道

转移概率矩阵，求该信道的信道容量C。由，先算出

(5-8)【例5.8】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵

，求信道容量C。平均互信息量
I(X;Y)=H(Y)–H(Y︱X)

=-(1-q)[log+(1-)log(1-)]
根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令

则信道容量C=I(X;Y)︱a=0.5=1-q(2)计算出逆矩阵P－１=[p-1(yj︱xk)]；【例5.9】给出信道转移概率矩阵
，求信道容量C。（4）信道容量

（奈特/码符号）图5－9两个信道5.3.1独立并行信道5.3.2和信道根据定义，有

（5-26）
将式(5-28)代入条件p1+p2=1，得

（5-29）5.3.3串行信道信道1：P1=[p(y︱x)]，信道2：P2=[p(y‘︱x‘)]，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2=[p(y‘︱x‘)]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：【例5.11】两个离散信道，

，将它们串行连接使用，如图
5-10，计算总信道容量C。
串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足
p(y︱x)=p(z︱x)(对所有的x，y，z)
（5-36）(2)计算信道容量C本章主要定义了信道容量及讨论了信道容量的计算方法。讨论并证明了使平均互信息量达到信道容量的充要条件，并给出如下几种情况下信道容量的计算方法
（1）准对称信道
（2）信源只含两个消息
（3）信道转移概率矩阵为可逆方阵
还讨论了多个信道组合使用情况下，总信道容量的计算方法，讨论了以下几种情况：
（1）N个信道独立并行使用：记每个信道单独使用时的信道容量为Ck，k=1,2,…,N，则总信道容量C满足，当N个信道独立输入且独立使用时等号成立。
（2）N个信道轮流使用：各信道使用概率为pk，k=1,2,…,N，

总信道容量为，每个信道的使用概率为（3）N个信道串联使用：记各个信道的信道转移概率矩阵为Pk，k=1,2,…,N，则总信道的信道转移概率矩阵P等于各信道转移概率矩阵相乘，即P=P1P2…PN，矩阵的乘法要满足：左乘矩阵的列数应等于右乘矩阵的行数，且矩阵相乘不满足交换率。