2014信息论复习题.doc

《2014信息论复习题.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论复习题一、名词解释1、信息2、离散信源3、自信息量4、离散平稳无记忆信源5、马尔可夫信源6、连续信源7、信源冗余度8、连续信道9、信道容量10、强对称信道11、对称信道12、信息熵13、平均互信息14、平均失真度15、码的最小距离16、率失真函数二、判断1、必然事件和不可能事件的自信息量都是0。错2、自信息量是的单调递减函数。对3、单符号离散信源的自信息和信源熵都具有非负性。对4、自信息量、条件自信息量和联合自信息量之间有如下关系：对5、自信息量、条件自信息量和互信息量之间有如下关系：对6、当随机

2、变量X和Y相互独立时，条件熵等于信源熵。对7、当随机变量X和Y相互独立时，I（X；Y）=H（X）。错8、信源熵具有严格的下凸性。错9、平均互信息量I（X；Y）对于信源概率分布p（xi）和条件概率分布p（yj/xi）都具有凸函数性。对10、一维高斯分布的连续信源，其信源熵只与其均值和方差有关。错11、连续信源和离散信源的熵都具有非负性。错12、连续信源和离散信源都具有可加性。对13、连续信源和离散信源的平均互信息都具有非负性。对14、定长编码的效率一般小于不定长编码的效率。对15、离散无噪信道的信道容量等

3、于log2n，其中n是信源X的消息个数。错16、率失真函数的最小值是0。对17、率失真函数没有最大值。错18、信源编码通常是通过压缩信源的冗余度来实现的。对19、一般情况下，霍夫曼编码的效率大于香农编码和费诺编码。对20、在编m（m>2）进制的霍夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。对21、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。Ö22、非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。´三、填空1、1948年，美国数学家香农创立了信息论。2、按照信息的性质

4、，可以把信息分成语法信息、语义信息和语用信息。3、按照信息的地位，可以把信息分成客观信息和主观信息。4、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。5、信息的可度量性是建立信息论的基础。6、熵是香农信息论最基本最重要的概念。7、事物的不确定度是用时间统计发生概率的对数来描述的。10、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。11、自信息量的单位一般有比特、奈特和哈特。12、必然事件的自信息是0。13、不可能事件的自信息量是∞。14、两个相

5、互独立的随机变量的联合自信息量等于两个自信息量之和。15、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。16、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。17、离散平稳有记忆信源的极限熵，。18、对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。19、一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为log2（b-a）。20、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。21、对于限峰值功率的N维连

6、续信源，当概率密度均匀分布时连续信源熵具有最大值。22、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。23、若把掷骰子的结果作为一离散信源，则其信源熵为log26。23、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3。24、若一维随机变量X的取值区间是[0，∞]，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。25、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是log218=（1+

7、2log23）。26、m元长度为ki，i=1，2，···n的惟一可译码存在的充要条件是：。27、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。28、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。29、具有一一对应关系的无噪信道的信道容量C=log2s。30、对称信道的信道容量C=log2s-Hri。31、对于离散无记忆信道和信源的N次扩展，其信道容量CN=NC。32、对于N个对立并联信道，其信道容量CN=。33、当信道的

8、噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。34、高斯加性信道的信道容量C=。35、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。36、信道矩阵代表的信道的信道容量C=1。37、信道矩阵代表的信道的信道容量C=1。38、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率Ct=9kHz。39、信道矩阵代表的信道，若每分钟可以传递6*105个符号