信息论复习new

《信息论复习new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码习题一、概念简答题•1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？•答：平均自信息为•表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。•平均互信息•表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？•答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。•最大熵值为。3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？•答：信息传输率R指信道

2、中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。4.解释无失真变长信源编码定理。•答：只要，当N足够长时，一定存在一种无失真编码。5.解释有噪信道编码定理。•答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。6.离散平稳信源•答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。7.即时码•答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。8.信道容量•答

3、：信息能够可靠传输的最大信息传输速率。9.信源信道编码定理•答：设有一离散无记忆平稳信道的每秒容量为C，一个离散信源每秒的熵为H，那么，如果HC时，对任何编码编码系统，译码差错率>010.信道疑义度•答：设信道的输入与输出分别为X、Y，定义条件熵H(X/Y)为信道疑义度。它有如下含义：•信道疑义度表示接收到Y条件下X的平均不确定性；根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X经信道传输后信息量的损失；接收的不确定性由信道噪声引起，在无噪情况下，H(X/Y)=0。11.信源冗余度•答：

4、信源的剩余度（冗余度）是信源符号所含信息量与符号所能携带最大信息量之间差别的度量。它表示信源可以被无失真压缩的程度。定义为：H1H012.非奇异码•答：若一组码中有相同的码子，即sisjWiWj，则称码为非奇异码。13.离散信源熵•答：假设离散事件集合的概率特性由以下数学模型表示：•Xaa...aq12qp(a)1iPpa()pa()...pa()i1•12q•定义自信息的数学期望为平均自信息量Hr(X)，称为信息熵：q•。1HXr()E[logr]Pa()logirPa()ipa()ii114.无噪无损信道•答：若H(X/Y)

5、H(Y/X)0，则信道叫无噪无损信道。二、填空•1.1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。•2.按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。•3.熵是香农信息论最基本最重要的概念。•4.自信息量的单位一般有比特、奈特和哈特。•5.必然事件的自信息是0。•6.不可能事件的自信息量是∞。•7.两个相互独立的随机变量的联合自信息量等于两个自信息量之和。•8.离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。limH(X/XXX)•9.离散平稳有记忆信源的极限熵NN12N。1•10.若把掷骰子的结果作为一

6、离散信源，则其信源熵为log26。•11.同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是log218（1+2log23）。•12.信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。•13.具有一一对应关系的无噪信道的信道容量C=log2n。•14.强对称信道的信道容量C=log2n-Hni•15.对于离散无记忆信道和信源的N次扩展，其信道容量CN=NC。•16.信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。•17.信源编码的目的是：提高通信的有效性。•18.若纠错码的最小距离为dm

7、in，则可以纠正任意小于等于t=dmin1个差错。2•19.若检错码的最小距离为dmin，则可以检测出任意小于等于l=dmin-1个差错。•20.信道编码的目的是提高信息传输的可靠性。p(a/b)p(a/b)ijlogijp(a/b)logij•21.互信息p(ai)；互信息X；p(ai)•22.信息论研究的主要目的是为了提高通信系统的有效性，和可靠性；•23.图1所示信道中无损有噪信道是A，无噪有损信道是B。XYXY1/2111/21/3