资源描述：
《10-11第二学期信息论作业题参考答案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、13第1讲2、信息论创始人是谁？香农。3、信息和消息、信号有什么联系与区别？从信息理论角度上看，信号是消息的载体，信息含藏在消息之中，有信号有消息不一定有信息。4、通信系统的主要性能指标是什么？有效性、可靠性和安全性。5、举例说明信息论有哪些应用？为信息传送和处理系统提供数学模型和评估方法，在通信和信息处理领域是一门基础理论，在其它领域如语言学、生物学、医学、神经网络、经济学方面的应用也很成功。具体应用实例有：语音、图像和数据信息的压缩，通信信道有效性和可靠性的提高，或信道传输功率指标要求的降低，通信或计算机系统可靠性和安全性的提
2、高，信息处理领域的信号重建和模式识别等。2.4（求车牌自信息量）某车牌号的概率是(1/26)3×(1/10)3，24bit/牌，后一种概率为(1/36)6，31bit/牌，第2讲设二元对称信道的传递矩阵(条件概率矩阵)为若P(0)=3/4,P(1)=1/4，求H(X),H(Y),H(X/Y),H(Y/X)和I(X;Y)；先求P(Y)=∑XP(XY)和P(XY)=P(X)P(Y
3、X)，再得各种熵和互信息。H(X)=H(3/4,1/4),H(Y)=H(7/12,5/12);H(XY)=H(1/2,1/4,1/12,1/6);H(X/Y
4、)=H(XY)-H(Y)H(Y/X)=H(XY)-H(X)；或H(Y/X)=∑P(X=a)H(Y/a)=H(3/4,1/4)I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)；2.2（求条件信息量）1.6米以上女孩是条件，某个1.6米以上的女大学生是概率事件，得条件概率为：P=0.25×0.75/0.5=0.375=3/8，信息量为I=-log0.375=1.42比特。2.52.10(1)(2)（由联合概率分布求熵、联合熵和条件熵）（1）思路：先求出X、Y、Z、XZ、YZ、XYZ的概率或联合分布，再求其熵。如：P
5、(Z=XY=0)=1-P(XY=1)=7/8，P(ZX=1)=P(YX=1)=1/8,..1313(2)思路：通过X、Y、Z及其联合概率分布求X/Y等条件概率分布P(X/Y)=P(XY)/P(Y)，再求其熵H(X/Y)=∑P(Y=b)H(X/b)。或根据H(X/Y)=H(XY)-H(Y)从联合熵计算条件熵。P(xyz)联合概率分布如下ZXY0001101101/83/83/8010001/8P(xz)联合概率分布如下ZX0101/23/8101/8P(yz)联合概率分布如下ZY0101/23/8101/8第3讲2.10（3）
6、（由联合概率分布求平均互信息和条件互信息）通过H(X;Y)=H(X)-H(X
7、Y)，H(X;Y
8、Z)=H(X
9、Z)-H(X
10、YZ)和H(X
11、Y)=H(XY)-H(Y)关系式求各种互信息量2.12，X表示天气情况，Y表示天气预报，0表雨，1表无雨。求1）准确率（提示P(00)+P(11)=12/16），2)从预报得到的信息量I(X;Y)（X(0)=3/16，X(1)=13/16，Y(0)=11/16，Y(1)=5/16），3)总是报无雨时的准确率和预报信息量（提示，Y(0)=0，Y(1)=1；准确度=13/16，I(X;Y)=0）。
12、2.14（由X概率分布和条件概率分布求互信息和条件互信息）先求联合概率分布p(xy1y2)=p(x)p(y1y2
13、x)，如p(y1y2
14、x)=p(00
15、0)=1，p(10
16、1)=1，p(11
17、2)=1/2，p(01
18、2)=1/2，余为0。再通过以下公式求各个互信息和条件互信息：不用H(X;Y)=H(X)-H(X
19、Y)，H(X;Y
20、Z)=H(X
21、Z)-H(X
22、YZ)和H(X
23、Y)=H(XY)-H(Y)使用H(X;Y
24、Z)=H(X;YZ)-H(X;Z)P(xy1y2)联合概率分布如下xy1y20001101101/40001001/4
25、0201/401/4I(X;Y1)=0.5；I(X;Y2)=1;I(X;Y1Y2)=H(X)+H(Y1Y2)-H(XY1Y2)=1.5+2-2=1.5I(X;Y1
26、Y2)=I(X;Y1Y2)-I(X;Y2)=.0.5，I(X;Y2
27、Y1)=I(X;Y1Y2)-I(X;Y1)=.1第4讲1，某l离散无记忆信源只输出n个符号，则当信源呈（等概）分布情况下，熵为最大值（logn）。2，某连续信源幅度受限，则当信源呈（均匀1313）分布情况下，熵为最大值（log（b-a））。3，如果连续随机变量X的均值为零，平均功率受限于P，则当X服从(
28、高斯)分布时、其微分熵达到最大，最大的微分熵为(log)。4，设连续随机变量X的概率密度函数服从均匀分布，求微分熵，并说明大于0的条件。答案：第5讲随机信源如何分类？从消息变量取值的连续性分：离散信源和连续信源从连续信源输出时间上的连续性分：连续信
