连续信源的熵与互信息量学习教案.pptx

会计学离散(lísàn)无记忆信源：H∞(X)=HL(X)=H(X)系统(xìtǒng)1连续(liánxù)信源的熵与互信息量输出消息取值上连续(liánxù)的信源，如语音，电视等，
对应的数学工具为连续(liánxù)型随机变量或随机过程。
连续(liánxù)信源输出的状态概率用概率密度来表示。其中(qízhōng)定义(dìngyì):连续随机变量的相对熵为定义：连续(liánxù)随机变量的联合熵为连续随机变量(suíjībiànliànɡ)的联合熵、条件熵和互信息之间关系连续随机变量的联合(liánhé)平均互信息量连续随机变量X与离散(lísàn)随机变量Y联合联合熵、条件熵例题令X是在区间(a，b)上均匀分布的随机变量，求X的相
对熵。

解：x的概率密度为

注意:连续变量的微分(wēifēn)熵不具有非负性
当b－a>1时，
b－a<1时，
b－a=1时，例令X是数学期望为m，方差为的正态随机变量(suíjībiànliànɡ)，求
它的熵。

解：正态随机变量(suíjībiànliànɡ)x的概率密度

它的值视的大小可正、可负或零，且与数学期望无关。均匀分布的连续(liánxù)信源的熵：设pXY是(xy)二维高斯(ɡāosī)概率密度函数X和Y之间的平均互信息由定义有

奈特

表明，两个高斯变量之间的互信息只与相关系数有关(yǒuguān)，而与数学期望及方差和无关。
例:设原连续随机变量(suíjībiànliànɡ)X是数学期望为m，方差为的正态随机变量(suíjībiànliànɡ)，经一个放大倍数为k的放大器放大输出为Y,求Y的相对熵。

解：y=kx为数学期望为km，方差为的正态随机变量(suíjībiànliànɡ)，

注意:相对熵值通过线性放大器后发生变化.指数分布的连续(liánxù)信源的熵：
连续(liánxù)熵可为负值（为什么？连续(liánxù)熵的相对性所致）
可加性

平均互信息的非负性，对称性，信息处理定理

最大连续(liánxù)熵定理峰值功率受限的最大熵定理
若连续(liánxù)随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵

峰值功率受限的最大熵定理
若连续(liánxù)随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵

峰值(fēnɡzhí)功率受限的最大熵定理
若连续随机变量X的峰值(fēnɡzhí)不超过M，即X限于(-M,M)内取值，则X的相对熵

均值受限的最大熵定理(dìnglǐ)
若连续随机变量X非负的均值为M，则X服从指数分布时的相对熵最大，即当平均功率受限时，高斯分布信源的熵最大，若令
其平均功率为，则其熵为
连续(liánxù)信源的剩余度思考(sīkǎo):解：/思考(sīkǎo):(c)令作业