信息理论与编码答案 姚善化 清华大学出版社

《信息理论与编码答案 姚善化 清华大学出版社》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《信息理论与编码》习题参考答案第1章1.信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。2.语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之

2、间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。第2章1.一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？答：依据题意，这一随机事件的概率空间为其中：表示摸出的球为红球事件，表示摸出的球是白球事件。a)如果摸出的是红球，则获得的信息量是（比特）b)如果摸出的是白球，则获得的信息量是（比特）c)如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取次，红球出现的次数为次，白球

3、出现的次数为次。随机摸取次后总共所获得信息量为d)则平均随机摸取一次所获得的信息量为2.居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。42根据题意，则知：而“身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A事件发生。所以其概率为根据贝叶斯定律可得则得知“身高1.6米以上的某女孩是大学生”这消

4、息，能获得的信息量（比特）3.设一个系统传送10个数字：0,1,2,…,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？答：发送集合接收集合其中因为所以最后得：（比特/符号）4.某一无记忆信源的符号集为{0,1}，已知信源的概率空间为。(1)求信源熵。(2)求由个“0”和(100-)个“l”构成的某一特定序列的自信息量的表达式。(3)计算由100个符号构成的符号序列的熵。答：42（1）信源熵为（2）该特定序列用表示则（3）因为信源是无

5、记忆信源，所以5.有一离散无记忆信源，其输出为，相应的概率为，，，设计两个独立实验去观察它，其结果分别为，。已知条件概率如表2-4所示。表2-4习题5表010101001010111021/21/2201(1)求和，并判断作哪一个实验好些。(2)求，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于的信息。(3)求和，并解释它们的含义。答：（1），要求和需要先求，，已知。，要求和需要先求，，已知。由及联合概率分布与边缘概率分布的关系可得及，如表2-1所示：表2-142010101/4001/401

6、01/411/4021/41/4201/21/21/21/21/2所以同样可求出及，如表2-2所示：所以因此第二个实验好些。（2），因此要求出，和。由于、是相互独立的实验，所以。（见表2-2和表2-3）表2-2000110110100010010201/201/242表2-30001101101/40001001/40201/401/41/41/41/41/4可以看到：做和两个实验比做一个实验可多得到的信息为可以看到：做和两个实验比做一个实验可多得到的信息为（3），它表示做完实验以后，从实验可得到关于的信息量。，它

7、表示做完实验以后，从实验可得到关于的信息量。6.设信源通过一干扰信道，接收符号为，信道传递概率如图2-7所示。求：(1)信源中事件和分别携带的自信息量。(2)收到消息后，获得的关于的信息量。(3)信源和信源的信息熵。42(4)损失熵和噪声熵。(5)接收到消息后获得的平均互信息。图2-7习题6图答：（1）因为所以(比特)(比特)（2）收到消息的概率为：所以收到消息后获得的关于的信息量即为：(比特/符号)(比特/符号)(比特/符号)(比特/符号)（3）(比特/符号)42(比特/符号)（4）其中所以噪声熵：(比特/符号)

8、损失熵：(比特/符号)（5）接收到消息后所获得的平均互信息量为：(比特/符号)7.某信源的消息符号集的概率分布和二进制代码如题表2-5所示。表2-5习题7表信源符号概率1/21/41/81/8代码010110111试求：(1)消息的符号熵。(2)平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。(3)消息是由符号序列组