信息论-习题答案new

《信息论-习题答案new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、1．设信源通过一干扰信道，接收符号为Y={y1,y2}，信道转移矩阵为，求：(1)信源X中事件x1和事件x2分别包含的自信息量；(2)收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量；(3)信源X和信宿Y的信息熵；(4)信道疑义度H(X/Y)和噪声熵H(Y/X)；(5)接收到信息Y后获得的平均互信息量。解：1)2)3)4) 5)2．设二元对称信道的传递矩阵为(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X)和I(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)2)3．黑白气象传真图的消息

2、只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为P(黑)=0.3，白色出现的概率为P(白)=0.7。(1)假设图上黑白消息出现前后没有关联，求熵H(X)；(2)假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X);解：(1)(2)4．某一无记忆信源的符号集为{0,1}，已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2

3、)中序列的熵。解：(1)(2)(3)5．已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz，求最大可能传输的消息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？解： 6．试求以下各信道矩阵代表的信道的容量：(1)[P]=(2)[P]=(3)[P]=解：1)这个信道是一一对应的无干扰信道2)这个信道是归并的无干扰信道3)这个信道是扩展的无干扰信道7．设信源(1)求信源熵H(X)；(2)编二进制香农码；(3)计算平均码长和编码效率。解：(1)(2)xip(xi)pa(xi)ki码字x10.203000x20.190.23001x30.180.39

4、3011x40.170.573100x50.150.743101x60.10.8941110x70.010.9971111110(3)8．对信源编二进制费诺码，计算编码效率。解：xip(xi)编码码字kix10.200　　002x20.1910　0103x30.181　0113x40.1710　　102x50.1510　1103x60.11011104x70.01111114 9．对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。解：二进制哈夫曼码：xip(xi)编码码字kis6　　     1　　s5　    0.610　　s4　   0.39　1　

5、　s3　  0.35　0　　　s2　 0.26　　1　　　x10.2　　　0 　102x20.19　　　1 　112x30.18　　0  　0003x40.17　　1  　0013x50.15　0   　0103s1　0.111   　　　x60.10    　01104x70.011　　　　　0111410．设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵H。（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为000110，用伴随式法求译码结

6、果。解：1）n=6，k=3，由C=mG可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由G知，，则3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。　错误图样E　　伴随式　　100000　　　　　101　　010000　　　　　110　　001000　　　　　011　　000100　　　　　100　　000010　　　　　010　　000001　　　　　0014）由知E＝010000，则11．已知（7，4）循环码的生成多项式，求：（1）求该码的编码效

7、率？（2）求其对应的一致校验多项式（3）写出该码的生成矩阵，校验矩阵。（4）若消息码式为，求其码字。解：1）2）3），而4）12．在由生成的(7,3)循环码中，求信息101的系统码字，并化画出编码电路图。解：因为又因为所以即该信息在所给循环中应编为（1010011）