信息论与编码复习题目(2016)

《信息论与编码复习题目(2016)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息论复习提纲第一章绪论1．通信系统模型；2．香浓信息的概念；3．信源、信道、信源编码和信道编码研究的核心问题。第二章离散信源及信源熵1．离散信息量、联合信息量、条件信息量、互信息量定义；2．信源熵、条件熵、联合熵定义；3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4．最大信源熵定理及证明；5．本章所有讲过的例题；第三章离散信源的信源编码1．信息传输速率、编码效率定义；2．最佳编码定理（即3.2节定理：概率越大，码长越小；概率越小，码长越大）及证明；3．码组为即时码的充要条件；4．单义可译定理（Kraft不等式）及应用；5．费诺编码方法、霍夫曼编码方法

2、应用（二进制，三进制，四进制）；6．本章所有讲过的例题；第四章离散信道容量1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；2．本章讲过的例题；第五章连续消息和连续信道1．相对熵的定义；2．均匀分布、高斯分布、指数分布的相对熵及证明；3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；4．香农公式及意义；5．本章所有讲过的例题；第六章差错控制1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即6.3节定理）；3．本章所有讲过的例题；第七章

3、线性分组码1．线性分组码定义；2．线性分组码的最小距离与最小重量的关系及证明；3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；4．制作标准阵列并利用标准阵列译码；5．本章所有讲过的例题；第八章循环码1．生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明；2．生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3．本章所有讲过的例题；4习题：1.已知随机变量X和Y的联合分布如下：YX0101/83/813/81/8计算：H(X)、H(Y)、H(XY)、H(X/Y)、H(Y/X)、I(X

4、;Y)。2.具有归并性能的无噪信道的信道矩阵P=，求其信道容量及达到信道容量时信源的概率分布。3.信道矩阵[P]=，计算[P]代表的信道的信道容量。4.设二元对称信道的传递矩阵为(1)若；(2)求该信道的信道容量及其达到信道容量时的输入概率分布。5.设有信源（1）对该信源编二进制费诺；（2）计算其平均码长。6.设有信源（1）对该信源编二进制霍夫曼码，计算其平均码长；（2）对该信源编三进制霍夫曼码，计算其平均码长；（3）对该信源编四进制霍夫曼码，计算其平均码长；7.设有一个无记忆信源发出符号A和B，已知p(A)=1/4,p(B)=3/4。（1）计算该信源熵；（2）该信源改为发出二重符

5、号序列消息的信源，采用费诺编码，求其平均信息传输速率；（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。8.设一个[7,4]码的生成矩阵为（1）求出该码的全部码字；（2）求出该码的一致校验矩阵；(3)作出该码的标准译码码表。49.设二元线性码L的生成矩阵为，建立码L的标准阵并且对字11111和10000分别进行译码。10.令是(15,5)循环码的生成多项式，写出该码的系统码形式的G和H矩阵标准形式；11.给定X的概率密度函数为拉普拉斯分布，求相对熵Hc(X)。42014年《信息论与编码》研究生考试试题注：满分100分，所有答案写在答题纸上，该试卷写上名字后

6、交回．姓名：一．叙述题（5分×4＝20分）1．写出香农公式，并解释其意义．2．叙述平均码长界定定理．3．叙述香农第一定理．4．分别叙述峰值功率受限和平均功率受限条件下的最大熵定理．二．计算题（共70分）１．（10分）设信源，求这个信源的熵，并解释为什么H(X)>log6，不满足最大熵定理．2.（10分）利用最大后验概率译码准则，给出译码方案，并计算错误传输概率.信源的概率空间为，信道矩阵为．3．（15分）信源概率空间为，分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码．4．（20分）线性分组码的生成矩阵．（1）写出一致校验矩阵．（2）给出所有码字．（3）给出标准阵列表．（

7、4）如果接收，，，给出译码．5．（15分）令是(15,5)循环码的生成多项式，写出生成矩阵G和一致校验矩阵H的标准形式．三．证明题（共10分）证明：线性分组码构成维线性空间的维子空间．4