第二章 信源熵练习题

《第二章 信源熵练习题》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第一章绪论练习题一、填空题1.信息是事物运动状态或存在方式的所有可能取值的描述，不确定性可以用概率来表达，因而可以用概率论与随机过程来描述信源输出的消息。单符号信源用概率空间来描述，即信源符号的所有可能取值及其对应的概率。信源的某一种取值概率大，则其不确定性（度）小；相反，某一种取值概率小，则其不确定性（度）大。2.信源发出消息，传输信息的过程是：发出消息之前，信源即将发出什么消息存在不确定性（度），不确定性（度）的大小由消息的概率决定；发出某个具体消息后，就消除了对应大小的不确定性（度）。在这一过

2、程中，从未知到已知，传递了信息，信息的大小就是消除的不确定性（度）的大小。3.一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息，其定义为事件发生概率对数的负值，即Ixlogpx，自信息量ii2的单位与所用的对数的底有关。这就是香农信息的度量规则。联合自信息是联合事件发生时所带来的信息量；条件自信息量是带有条件是事件发生时所带来的信息量。4.离散单符号信源熵是信源中各个消息符号（随机变量各个取值）不确定度（或者自信息量）的数学期望，代表了信息源的平均不确定度，记作H(X)，

3、q用数学式子表达为HXEIxpxlogpx。iiii15.离散信源熵有最大值，其取得最大值的条件是离散信源各个消息符号为等概率分布；离散信源熵一定有最大值的原因是熵函数是严格上。例如，包含n个不同离散消息的信源X的熵HXlogn（选填<、>≥、≤2或者=），当满足X中各个消息出现的率全相等（或者表达出等概率的意思的文字）条件时，上式取得等号。6.联合熵是联合离散符号集合XY上，联合消息xy的联合自信息量的数学ij期望（或者概率统计/加权平均），在数学上表

4、达为nmnmHXYpxyIxy(ij)(ij)pxy(ij)log(pxyij)。i1j1i1j17.条件熵是联合离散符号集合XY上，条件自信息量的的数学期望（或者概率统计/加权平均），在数学上表达为nmnmHXYpxyIxy(ij)(ij)pxy(ij)log(pxyij)i1j1i1j18.平均符号熵是离散平稳信源输出N长的信源符号序列中平均每个信源符号所携带的信息量称为平均符号熵，记为HX，数学上表达为N1HNNXHXX12...

5、X。N9.相关长度为L的一般有记忆序列信源的熵为HXX12...XLHX1HX2X1HX3XX12...HXLLXX12...X1，特别，当相关长度为2时HXXHXHXX，当序列信源为N12121N次扩展信源时其熵值为HXNHX。10.极限熵——若离散平稳信源序列长度N趋于无穷时，平均符号熵的极限存在，则称此极限为离散平稳信源的极限熵（也称熵率），记为HX，1在数学上表达为HXXlimHlimHXX...XNN12N

6、NN11.M阶马尔科夫信源12.信源的剩余度（冗余度）——任何离散信源只要它的消息符号等概条件，其信源熵达到最大值H，即理想信源每个消息符号平均承载的信息量的最0大能力为H；实际信源由于信源消息符号概率分布不均等或者前后发出消0息的相互关联，从而使实际熵值H小于H，即实际承载的信息量小于其0最大能力H。于是，实际信源消息符号承载信息的能力有剩余，此即信源0H的剩余度（冗余度），在数学上表达为11。H013.连续信源的绝对熵为无穷大，但相对熵为有限值，在数学上表达为HX()

7、p()logxp()xdx，连续信源相对熵不满足非负性。在实际问cXX题中，常遇到的是熵之间的差，如互信息量，因而常用相对熵代替绝对熵进行研究。与离散信源熵相似也可以定义出连续信源的相对联合熵、相对条件熵等概念。连续信源最大相对熵定理：1)峰值功率受限（取值幅度受限）时，均匀分布的连续信源熵值最大，HX()log(ba)；2）平均功c212率受限（方差受限）时，高斯分布的信源熵值最大，HX()log2e；c223）均值受限时，指数分布的信源熵值最大，HX()logme。c214.

8、连续信源的绝对熵为无穷大，因此用任何离散消息符号去对连续信源进行编码时必然存在部分信息丢失（失真），而只能实现限失真编码。15.熵功率——与q(x)分布的实际信源熵值相等的高斯分布信源的实际平均功率的限定值。16.互信息是信道输出端接收到消息符号y后，从消息符号y获得的关于输入端发出某个消息符号x的信息量，记为I(x;y)，在数学上表达为pxyijIxyi;jlogIxiIxyij。互信息具有对称性。平均互信息pxi是互信息在对应联合概率空间