信息论与编码(第二版)习题答案,陈运,主编.doc

《信息论与编码(第二版)习题答案,陈运,主编.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。信息论与编码(第二版)习题答案,陈运,主编篇一：信息论与编码复习资料重点陈运第二版2.3居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历XP(X)x1（是大学生）0.25x2（不是大学生）0.75设随机变量Y代表女孩子身高YP(Y)y1（身高>160cm）0.5y2（身高160cm）P(Y)0.5y2（身高log6不满足信源熵的极值

2、性。11此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。解：·2·H(X)=?∑p(x)logp(x)iii6=?(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)=2.657bit/symbolH(X)>log26=2.585不满足极值性的原因是∑6p(xi)=1.07>1。i2.7证明：H(X3/X1X2)≤H(X3/X1)，并说明当X1,X2,X3是马氏链时等式成立。证明：H(X3/X1X2)?H(X3/X1)=?∑∑∑p(xi1xi2xi3)logp(xi3/

3、xi1xi2)+∑∑p(xi1xi3)logp(xi3/xi1)i1i2i3i1i3=?∑∑∑p(xi1xi2xi3)logp(xi3/xi1xi2)+∑∑∑p(xi1xi2xi3)logp(xi3/xi1)i1i2i3i1i2i3=p(xxx)p(xi3/xi111此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。)∑∑i1i2i3∑i1i2i3p(xi3/xi1xi2)≤∑∑p(x?p(xi1xi3/xi1)?i2xi3)??1?log2e∑i1i2i3??p(xi3/xi1xi2)????∑∑∑1i2i3p(x?=?i1xi2)p(xi3/xi1)?∑∑

4、∑p(xi1xi2xi3)?log2eii1i2i3?=???∑∑p(x???i1xi2)i1i2?∑p(xi3/xi1)????1?log2ei3?=0∴H(X3/X1X2)≤H(X3/X1)当p(xi3/xi111此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。)p(x?1=0时等式等等i3/xi1xi2)?p(xi3/xi1)=p(xi3/xi1xi2)?p(xi1xi2)p(xi3/xi1)=p(xi3/xi1xi2)p(xi1xi2)?p(xi1)p(xi2/xi1)p(xi3/xi1)=p(xi1xi2xi3)?p(xi2/xi1)p(xi3/x

5、i1)=p(xi2xi3/xi1)∴等式等等的等等是X1,X2,X3是马_氏链2.8证明：H(X1X2。。。Xn)≤H(X1)+H(X2)+…+H(Xn)。证明：H(X1X2...Xn)=H(X1)+H(X2/X1)+H(X3/X1X2)+...+H(Xn/X1X2...Xn?1)I(X2;X1)≥0I(X3;X1X2)≥0...·3·?H(X2)≥H(X2/X1)?H(X3)≥H(X3/X1X211此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。)·4·I(XN;X1X2...Xn?1)≥0?H(XN)≥H(XN/X1X2...Xn?1)∴H(X1X2..

6、.Xn)≤H(X1)+H(X2)+H(X3)+...+H(Xn)2.9设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算H(X2)),并写出H(X3/X12XX)及∞(3)试计算H(XH；44信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任．意．时．间．而且不．论．以．前．发．生．过．什．么．符．号．……”(2)H(X2)=2H(X)=?2×(0.4log0.4+0.6log0.6)=1.942bit/symbolH(X3/X1X2

7、)=H(X3)=?∑p(xi)logp(xi)=?(0.4log0.4+0.6log0.6)=0.971bit/11此资料由网络收集而来，如有侵权请告知上传者立即删除。资料共分享，我们负责传递知识。symboliH∞=Nlim?>∞H(XN/X1X2...XN?1)=H(XN)=0.971bit/symbol(3)H(X4)=4H(X)=?4×(0.4log0.4+0.6log0.6)=3.884bit/sy