[理学]信息论复习提纲

《[理学]信息论复习提纲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论总复习信息学院电子工程系王琳单符号离散信源自信息量用概率测度定义信息量设离散信源X，其概率空间为如果知道事件xi已发生，则该事件所含有的自信息定义为当事件xi发生以前：表示事件xi发生的不确定性。当事件xi发生以后：表示事件xi所含有（或所提供）的信息量第一部分信源熵平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计

2、特性不同，其熵也不同。信源熵的三种物理含义信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；信源熵H(X)是表示信源输出前，信源的平均不确定性；用信源熵H(X)来表征变量X的随机性。最大离散熵定理(极值性)：离散无记忆信源输出q个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/q)，熵最大。H[p(x1),p(x2),…,p(xn)]≤H(1/q,1/q,…,1/q)=log2q出现任何符号的可能性相等时，不确定性最大。二进制信源的熵函数H(p)为离散无记忆信源的扩展离散无记忆信源X的N

3、次扩展信源的熵等于离散信源X的熵的N倍，即H(X)=H(XN)=NH(X)离散平稳信源：各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。二维离散平稳信源的熵为离散序列信源平均符号熵：信源平均每发一个符号提供的信息量为离散平稳有记忆信源的极限熵：当N→∞时，平均符号熵取极限值称之为极限熵或极限信息量。用H∞表示，即极限熵的存在性：当离散有记忆信源是平稳信源时，极限熵等于关联长度N→∞时，条件熵H(XN/X1X2…XN-1)的极限值，即极限熵的含义：代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量。马尔

4、科夫信源定义状态转换图(香农线图)状态极限概率平稳、齐次马尔科夫信源熵信源熵的相对率η：η=H∞/H0信源冗余度ξ：ξ=1－η=(H0－H∞)/H0信源的冗余度表示信源可压缩的程度。连续信源的差熵为上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。具有最大熵的连续信源（两种情况）连续信源熵有关问题说明连续信源熵并不是实际信源输出的绝对熵；连续信源的绝对熵还有一项正的无限大量，虽然log2(b－a)小于0，但两项相加还是正值，且一般还是一个无

5、限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大；Hc(X)已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。连续信源熵的意义这种定义可以与离散信源在形式上统一起来；在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征；连续信源的熵Hc(X)具有相对性，因此Hc(X)也称为相对熵。信道疑义度—H(X/Y)：表示信宿在收到Y后，信源X仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，

6、故也可称为损失熵。噪声熵—H(Y/X)：表示在已知X的条件下，对于符号集Y尚存在的不确定性（疑义），这完全是由于信道中噪声引起的。联合熵H(XY)：表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。第二部分信道平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。站在输出端：I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息

7、量。站在输入端：I(Y;X)—发出X前、后关于Y的先验不确定度减少的量。站在总体：I(X;Y)—通信前、后整个系统不确定度减少量。H(X

8、Y)H(X)H(Y)H(XY)H(Y

9、X)I(X;Y)BSC信道的平均互信息量设二进制对称信道的输入概率空间为转移概率如图2.1.8所示。平均互信息量当q不变(固定信道特性)时，可得I(X;Y)随输入概率分布p变化的曲线，如图2.1.9所示；二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。当固定信源特性p时，I(X;Y)就是信道特性q的函数，如图2.1

10、.10所示；当二进制对称信道特性q=/q=1/2时，信道输出端获得信息量最小，即等于0。说明信源的全部信息信息都损失在信道中了。这是一种最差的信道。求信道容量的思想：当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)