信息论与编码复习题目(2011)

《信息论与编码复习题目(2011)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论复习提纲第一章绪论第二章离散信源及信源熵1．离散信息量、联合信息量、条件信息量、互信息量定义；2．信源熵、条件熵、联合熵定义；3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明；5．本章所有讲过的例题；第三章离散信源的信源编码1．信息传输速率、编码效率定义；2．最佳编码定理（即3.2节三中的定理）及证明；3．码组为即时码的充要条件；4．单义可译定理及应用；5．费诺编码方法、霍夫曼编码方法应用；6．本章所有讲过的例题；第四章离散信道容量1．给出信道矩阵，如何计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道

2、）；2．本章讲过的例题；第五章连续消息和连续信道1．相对熵的定义；2．均匀分布、高斯分布、指数分布的相对熵及证明；3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；4．香农公式及意义；5．本章所有讲过的例题；第六章差错控制1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即6.3节定理）；3．本章所有讲过的例题；第七章线性分组码1．线性分组码定义；2．线性分组码的最小距离与最小重量的关系及证明；3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，

3、生成矩阵与一致校验矩阵的关系；4．制作标准阵列并利用标准阵列译码；5．线性分组码的纠错能力（7.4二）的三个结论及证明；6．本章所有讲过的例题；第八章循环码1．生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明；2．生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3．本章所有讲过的例题；习题：1.已知随机变量X和Y的联合分布如下：X0101/83/813/81/8计算：H(X)、H(Y)、H(XY)、H(X/Y)、H(Y/X)、I(X;Y)。⎡100⎤⎢⎥100⎢⎥⎢010⎥⎢⎥010⎢⎥2.具有归并性能的无噪信道的信道矩阵P=⎢⎣001⎥⎦，

4、求其信道容量及达到信道容量时信源的概率分布。⎡1/21/41/81/8⎤⎢⎥3.信道矩阵[P]=⎣1/41/21/81/8⎦，计算[P]代表的信道的信道容量。⎡21⎤⎢33⎥4.设二元对称信道的传递矩阵为⎢12⎥⎢⎥⎣33⎦(1)若P(0)34,(1)14,=P=求HXHXY(),(),HYX()和IXY(;)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布。⎡X⎤⎧x1x2x3x4x5x6x7⎫⎢⎥=⎨⎬5.设有信源⎣P(X）⎦⎩0.20.150.150.140.140.120.1⎭（1）对该信源编二进制费诺；（2）计算其平均码长。⎡X⎤⎧x1x2x3x4x5x6x7x

5、8⎫⎢⎥=⎨⎬6.设有信源⎣P(X）⎦⎩1/21/41/81/161/321/641/1281/128⎭（1）对该信源编二进制霍夫曼码，计算其平均码长；（2）对该信源编三进制霍夫曼码，计算其平均码长；7.设有一个无记忆信源发出符号A和B，已知p(A)=1/4,p(B)=3/4。（1）计算该信源熵；（2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率；（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。⎡1000111⎤⎢⎥01001018.设一个[7,4]码的生成矩阵为⎢⎥⎢0010011⎥⎢⎥⎣0001110⎦（1）求出该码的全部

6、码字；（2）求出该码的一致校验矩阵；(3)作出该码的标准译码码表。⎛11010⎞9.设二元线性码L的生成矩阵为G=⎜⎟，建立码L的标准阵并且对⎝01010⎠字11111和10000分别进行译码。10854210.令gx()=x+x+x+x+x+x+1是(15,5)循环码的生成多项式，写出该码的系统码形式的G和H矩阵标准形式；1−λxp(x)=λe,−∞