信息理论与编码总复习

《信息理论与编码总复习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一、填空1.在对信源进行观察之前，对认识主体来说，信源存在，它与信源的有关。3.是自信息量的统计平均，对数以2为底时，单位是。2.考虑任意N个相邻时刻输出的随机变量，将其看成一个新的离散无记忆信源的输出，则称为。4.一般衡量一个信息传递系统的好坏，有两个主要指标，其一，信息率R，即，其二，平均差错率，即。5.设Ｘ的取值受限于有限区间［a,b］，则X服从分布时，其熵达到最大。9.最小码间距离是衡量码的性能的重要参数，信道编码在选择码字组成一个码时，只要条件允许，尽量使码的最小码间距离一些为好。8.两个等长符号序列之间的汉明距离，是它们之间。7.使平均差错率达到最小的译码规则称为。，若，则无论

2、采用什么样的编码方法，其译码失真10.设离散无记忆平稳信源的信息率失真函数为必大于。6.变长码采用非续长码，力求使最小，此时最高，信源的冗余度得到最大程度的压缩。是关于的函数。13.信息率失真函数是实值函数。14.失真度（或失真函数）15.物理量H(X)、H(X

3、Y)、I(X;Y)、I(yj;xi)、I(xi

4、yj)、I(xi)中，只有不具有非负的性质。11.在加性高斯噪声信道中传输信息，分布的输入信号是最有效的。12.将一个码标在码树上，如果其所有码字均处于节点上，则该码为非续长码。二、简答题分析连续信源熵和离散信源熵的异同点。2.简述唯一可译性和非奇异性的区别与联系。3.简述信源的信息

5、率、信息速率、信息含量效率和信息冗余度的概念。4.设DMC的转移矩阵为，求该信道的2次扩展信道的转移矩阵。三、设有离散无记忆信源试对信源进行四元Huffman编码，求信源熵H(S)，平均码长和编码效率。（编码时码树各分枝概率从大到小分别编0至3码）四、设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为，求：1）信源X和信道输出Y的熵；2）信道疑义度H(X

6、Y)和噪声熵H(Y

7、X)。3）信源X的符号a1和a2分别含有的自信息；4）从输出符号分别所获得的关于输入符号的信息量；a1a2b1b20.80.10.20.9五、三个特殊的DMC的转移矩阵如下：分别判断各信道

8、属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。（注：,,）若信道输入概率为，试确定最佳译码规则，并计算出相应的平均差错率。六、设有DMS，其转移矩阵为