信息论基础复习样卷.doc

《信息论基础复习样卷.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一、填空题1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。2、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为。自信息量的单位一般有。3、必然事件的自信息是。不可能事件的自信息量是。4、把掷骰子的结果作为一离散信源，则其信源熵为。同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是。5、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率。6、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。信源的消息通过信道传输后的误

2、差或失真越大道传输消息所需的信息率。7、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的。8、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。9、对于二元序列1，其相应的游程序列是。10、信道编码的最终目的是。二、判断题1、必然事件和不可能事件的自信息量都是0。2、单符号离散信源的自信息和信源熵都具有非负性。3、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。4、自信息量、条件自信息量和互信息量之间有如下关系：5、当随即变量X和Y相互独立时，条件熵等于信源熵。6、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的

3、依赖关系相同。7、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。8、连续信源和离散信源的平均互信息都具有非负性。9、定长编码的效率一般小于不定长编码的效率。三、设离散无记忆信源Xa1=0a2=1a3=2a4=3=P(x)1/41/41/41/4其发生的消息为（）求（1）此消息的自信息是多少？（10分）（2）此消息中平均每个符号携带的信息量是多少？（3分）四、信源空间为试分别构造二元和三元哈夫曼码，计算其平均码长和编码效率。五、一阶马尔可夫信源状态如下图所示，信源符号集为{0,1,2},求（1）平稳后的信源概率分布（2）信源熵（3）当P＝1时信源的熵，并说明它的意义。六、

4、设输入符号与输出符号为X=Y{0,1,2,3},且输入符号的分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为:求Dmax和Dmin及R(Dmax)和R(Dmin),及相应的转移矩阵概率.七、有如下二进制对称信道，若P(0)=0.4，求四种译码规则所对应的平均差错率。10.910.10.100.90