《信息论试卷》word版

《《信息论试卷》word版》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、信息论与编码总结试题:一填空题（共15分，每题1分）1单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。2离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。3对于一阶马尔可夫信源，其状态空间共有个不同的状态。4根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道。5对于离散无记忆信道和信源的N次扩展，其信道容量=NC6信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是信息传输速率小于信道容量。7信源编码的目的是提高通信的有效性。8对于香农编码、

2、费诺编码和哈夫曼编码，编码方法唯一的是香农编码。9在多符号的消息序列中，大量重复出现的，只起占时作用的符号称为冗余位。10若纠错码的最小距离为d,则可以纠错任意小于等于个差错。11线性分组码是同时具有分组特性和线性特性的纠错码。12平均功率为P的高斯分布的连续信源，其信源熵为13当连续信源和连续信道都是无记忆时，则14信源编码与信道编码之间的最大区别是，信源编码需减少信源的剩余度，而信道编码需增加信源的剩余度。15离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性减弱。二选择题（共15分，每题3分）1离散

3、信源熵表示信源输出一个消息所给出的（B）。A、实际信息量；B、统计平均信息量；C、最大信息量；D、最小信息量；解：选择B。2下图给出了两个连续信源的概率密度函数，其熵值间满足（A）。A、H(X)>H(Y)；p(x)p(y)B、H(X)

4、N（受限），则连续无噪信道的信道容量为（A）。A、Wlog(2πeN)；B、2Wlog(2πeN)；C、Wlog(2πN)；D、2Wlog(2πN)；解：连续随机变量X，其平均功率受限为N，差熵具有最大值，最大值为选择A5对于无记忆离散信源X，其熵值为H(X)，由其生成的扩展信源XN的熵为H(XN)，H(X)与H(XN)之间的关系是（B）。A、H(XN)=H(X)；B、H(XN)=NH(X)；C、H(XN)=HN(X)；D、H(XN)=H(X)/N；三名词解释（共12分，每题4分）1信源冗余度2线性分组码3熵功率答

5、：1信源冗余度：信源冗余度也就是信源剩余度，它是指信源所含信息量与符号所能携带的最大信息量之间差别的度量。2线性分组码：分组码的信息码元与监督码元之间的关系为线性关系时，这种分组码就称为线性分组码。而分组码是一组固定长度的码组，可表示为（n,k），通常它用于前向纠错。在分组码中，监督位被加到信息位之后，形成新的码。在编码时，k个信息位被编为n位码组长度，而n-k个监督位的作用就是实现检错与纠错。3熵功率：若平均功率为P的非高斯分布的信源具有熵为h，称熵也为h的高斯信源的平均功率为熵功率。三简答题（共12分，每题6分

6、）1什么是信源编码，试述香农第一编码定理的物理意义？答：所谓信源编码就是对信源的原始符号按一定的规则进行变换，以新的编码符号代替原始信源符号，从而降低原始信源的冗余度。香农第一编码定理的物理意义：无失真信源编码的实质就是对离散信源进行适当的变换，使变换后新的码符号信源（信道的输入信源）即可能等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。2若有一信源每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是

7、无噪无损失），而信道每秒钟只传递2个二元符号。试问信源不经过编码能否直接与信道连接？通过适当编码能否与信道连接？采用何种编码，为什么？答：因信源符号速率大于信道传输速率（2.66>2），所以不能直接连接因为所以，可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。四计算题（共46分，第2题13分，其他每题11分）1、一个马尔可夫信源有3个符号，转移概率为：解：由题可得马儿克夫状态图为转移矩阵为：设状态稳定后的概率分别为由2、设二元对称信道的传递矩阵

8、为2/3001/32/31/311（1）画出传递函数矩阵；（2）若p(0)=3/4,p(1)=1/4,求H(X),H(X/Y)（3）求I（X,Y）；（4）求概率分布为何值时达到信道容量；（5）求信道容量；解：（1）由信道转移图可得传递矩阵为P=（2）已知X的概率则熵的公式可知所以根据熵和平均互信息的表达式，可计算（3）因为（4）根据对称信道的性质可知，当P(