信息论与编码理论1(B卷答案)

《信息论与编码理论1(B卷答案)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2011-2012信息论与编码理论1B卷答案一、单项选择题（每题3分，总计15分）1．当底为时，熵的单位为（C）。A奈特B哈特C奈特/符号D哈特/符号2．下列关系式中(B)正确。ABCD3．下列（D）陈述是正确的。AShannon编码是最优码BLZ编码是异字头码CHuffman编码可以不需要知道信源的分布D典型序列的数目不一定比非典型的多4．下列数组中（A）不满足二个字母上的Kraft不等式。A(1，1，1)B(2,2,2,2)C(3,3,3)D（4，4，4）5．下列（D）是只对输出对称的。ABCD二、填空题（每空2分，总计20分）1．若二元离散无记忆中，，则当给出比特的信源序列，其中

2、有个，则其自信息为比特，整个序列的熵为比特/符号.2．若某离散信道信道转移概率矩阵为，则其信道容量为比特/符号；转移概率矩阵为，则其信道容量为比特/符号。3.两个相同的BSC做级联信道，其信道转移矩阵分别为，则级联信道的信道转移矩阵为，无穷多个级联后的矩阵为。4．若一个信道的输入熵为比特/符号，输出熵为比特/符号，比特/符号，则3.2比特/符号，散布度为0.6比特/符号。第6页共5页5．在二元LZ编码中，若信源有个，某段信源序列共有个字典，则码长。6．存在元唯一可译码，其平均码长必小于。三、判断题（每题2分，总计10分）1.概率小的事件自信息大（√）2.若一个码字集合中的码字长度满足K

3、raft不等式，则其必为逗点码。（）3.若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（√）4.平均互信息是下凸函数。（）5.算数编码需要知道信源的分布。（√）四、计算题（55分）1）（15分）设随机变量的联合概率分布如下：01010。分别求。解:的分布率为01则比特/符号.的分布率为01则比特/符号.010第6页共5页10=,==0,===比特/符号.01=1,=0=0,=1则=0比特/符号.2）（20分）若离散无记忆信源的概率分布为①分别构造二元，三元Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano编码，Shannon-Fano-Elias

4、编码。②并求①中二元Huffman编码的编码效率。（只列出式子即可）第6页共5页解:对信源按概率从大到小排序,,建立码树则有二元Huffman编码:要进行三元Huffman编码,则需要添加一个空信源,成为,建立码树则有三元Huffman编码:Shannon编码如下:信源码长累加概率码字200020.40130.710140.91110①Fano编码如下:信源概率第1次分组第2次分组第3次分组码字0.4000.310100.1101100.11111②Shannon-Fano-Elias编码信源概率二元码字0.10.10.0550.00001000010.20.30.240.000100

5、00010.30.60.4530.0110110.410.830.110110③二元Huffman编码的平均码长为==1.9④编码效率为第6页共5页3）（20分）若离散无记忆信道的信道转移矩阵为，用两种方法求该信道容量。方法一:方法二:令输入概率为时达到了信道容量,则代入中,得到关于的函数,另其导数为0,解得=,则当=时达到信道容量,为.第6页共5页第6页共5页