信息论与编码习题

《信息论与编码习题》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1.通信系统的中心问题是在噪声下如何有效而可靠地___________，以及实现这一目标的方法是___________。2.信源编码是以提高信息传输的_______________为目的的编码，信道编码是以提高信息传输的_______________为目的的编码，密码是以提高信息传输的_______________为目的的编码。3.扔一枚硬币，结果是正面的不确定度为_________________，如果出现正面的概率为1，则该信源的信源熵为____________________。4.二元随机变量X和Y，已知H(X)=0.5bit/符号，H(Y)=0.7bit/

2、符号，若X和Y相互独立，则联合熵H(XY)=____________________，平均互信息I(X;Y)=____________________。5.离散无记忆信源信源X中包含M个不同的离散消息时，当且仅当_____________________时，信源熵取最大值______________。6.当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于____________________。7.信源编码按照码字的长度分为__________编码和_____________编码。8.如果一个码的任何一个码字都不是其他码字的前缀，

3、则称该码为_________________。9.设二元无记忆对称信道输入码字c=00101101，则其码重=____________，设接收向量r=01001110，则差错图案e=____________，c与r之间的码距d=____________。10.纠错码的最小距离为8，则该码字的检错能力为____________________，纠错能力为____________________。１、离散平稳无记忆信源，其信源熵为__________________，这个信源的二次扩展信源的熵为__________________。２、设输入序列R为10010111，

4、输出序列C为10110100，则差错图样为_________________，汉明距离为____________________。３、纠错码的最小距离为5，则该码字的检错能力为____________________，纠错能力为____________________。４、码字011010110的重量为____________________。1.在通信系统中，在发送端通常先进行信道编码，再进行信源编码。（）2.从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息，这说明了信息就是负熵。（）3.根据无失真信源编码定理和信道编码定理

5、，信源熵H(x)、信息率R和信道容量C，三者之间的关系是C≤R≤H(x)。（）4.由香农公式，当信道容量一定时，增大信道的带宽可以降低对信噪功率比的要求。（）1.二进制变长码X={x1,x2,x3,x4}，对应码长K1=1，K2=2，K3=2，K4=3，满足该码长的即时码(异前置码)存在。（）１、即时码一定是惟一可译码。()２、由香农公式，当信道容量一定时，增大信道的带宽可以降低对信噪功率比的要求。（）一个二进制信源X发出符号集{0,1}，经过离散无记忆信道传输，信道输出用Y表示，接收端除收到符号集{0,1}。已知X的先验概率：p(a0)=1/2，p(a1)=1/

6、2，XY0101联合概率p(a0b0)=1/3，p(a0b1)=1/6，p(a1b0)=1/6，p(a1b1)=1/3求H(X),H(Y),H(X

7、Y),H(Y

8、X),H(XY)和I(X;Y)。设加性高斯白噪声信道中信道带宽3kHz，又设{(信号功率+噪声功率)/噪声功率}=20dB。试计算该信道的最大信息传输速率Ct。一信源X(x1,x2,x3,x4)经编码后得码字集合S(1,01,001,0001)且一一对应。该码字集合是否是异前置码？现接收码元序列为101110001001101011，试写出译码结果。计算下列信道的信道容量，并写出信息率等于容量的条件(1)

9、信道转移概率矩阵；(2)信道转移概率矩阵；设有一单符号离散无记忆信源对其进行二进制哈夫曼编码，并计算平均码长和编码效率。.