资源描述：
《应用信息论答案new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、互信息函数I(P,Q)的性质2的证明。对于确定的条件概率矩阵Q互信息函数I(P,Q)是概率矢量空间S上的上凸函数。K（其中S={P：P=（p1,p2…,pK）,0≤pk≤1,k=1,2,...K,而∑pk=1}）k=1证明：首先由定义知：I(X,Y)=H(Y)-H(YX)J其中H(Y)=−∑p(bj)logp(bj)j=1KJK=−∑∑p(ak,bj)log∑p(ak)p(bjak)k=1j=1k=1KJK=−∑∑p(ak)p(bjak)log∑p(ak)p(bjak)k=1j=1k=1KJH(YX)=−∑∑p(ak,bj)logp(bj/ak)k=1j=1KJ
2、=−∑∑p(ak)p(bjak)logp(bj/ak)k=1j=1可知对于确定的Q，H(Y)和H(YX)都是S上的函数，且H(YX)关于P是线性的。下面将证明H(Y)是S上的上凸函数。即对∀P=(p,p,...,p)，111121KP=(p,p,...,p)∈S，及λ，λ，0≤λ≤1,λ=1−λ.成立221222KKJK−∑∑[λp1k(ak)p(bjak)+λp2k(ak)p(bj/ak)]log∑[λp1k(ak)+λp2k(ak)]p(bjak)k=1j=1k=1≥KJK−λ∑∑p1k(ak)p(bjak)log∑p1k(ak)p(bjak)k=1j=1k
3、=1KJK−λ∑∑p2k(ak)p(bjak)log∑p2k(ak)p(bjak)（1）k=1j=1k=1事实上，首先看不等式左边：KJK−∑∑[λp1k(ak)p(bjak)+λp2k(ak)p(bj/ak)]log∑[λp1k(ak)+λp2k(ak)]p(bjak)k=1j=1k=1=KJK−∑∑[λp1k(ak,bj)+λp2k(ak,bj)]log∑[λp1k(ak)p(bjak)+λp2k(ak)p(bjak)]=k=1j=1k=1J=−∑[λp1j(bj)+λp2j(bj)]log[λp1j(bj)+λp2j(bj)]（2）j=1而不等式右边：KJ
4、K−λ∑∑p1k(ak)p(bjak)log∑p1k(ak)p(bjak)-k=1j=1k=1KJK−λ∑∑p2k(ak)p(bjak)log∑p2k(ak)p(bjak)=k=1j=1k=1JJ=−λ∑p1j(bj)logp1j(bj)−λ∑p2j(bj)logp2j(bj)（3）j=1j=1因为H(Y)关于Y的分布是上凸函数，则成立下面不等式：J−∑[λp1j(bj)+λp2j(bj)]log[λp1j(bj)+λp2j(bj)]j=1JJ≥−λ∑p1j(bj)logp1j(bj)−λ∑p2j(bj)logp2j(bj)j=1j=1所以，综合（2），（3）式
5、，（1）式成立。即H(Y)是S上的上凸函数，又知H(YX)关于P是线性的，所以I(P,Q)=I(X,Y)=H(Y)-H(YX)是概率矢量空间S上的上凸函数。第一题修改如下，在H(U)前加一个“－”号。1∵limlogP(XX,⋯X)=−H(U)12NN→∞N1∴limP(XX,⋯X)N=exp(−H(U))12NN→∞K其中H(U)=−∑PilogPii=i第二章习题参考答案2222σ+σσ+σxyxy2.1lnnat或logbit22σσ2σσxyxy2.2证明：∵I(X;Y
6、Z)=H(X
7、Z)−H(X
8、YZ)=H(XZ)−H(Z)−H(XYZ)+H(YZ)=
9、H(X)+H(Z
10、X)−H(Z)−H(XY)−H(Z
11、XY)+H(Y)+H(Z
12、Y)=[H(X)+H(Y)−H(XY)]+H(Z
13、X)−H(Z)−H(Z
14、XY)+H(Z
15、Y)=I(X;Y)+H(Z
16、X)−H(Z)−H(Z
17、XY)+H(Z
18、Y)≤0+H(Z)−H(Z)−H(Z
19、XY)+H(Z)=H(Z)−H(Z
20、XY)∴1≤H(Z)−H(Z
21、XY),即H(Z)≥1+H(Z
22、XY)又∵H(Z)≤1,H(Z
23、XY)≥0,故H(Z)=1,H(Z
24、XY)=0同理，可推出H(X)=1;H(Y)=1;H(XYZ)=H(XY)+H(Z
25、XY)=H(X)+H(Y)+H(Z
26、XY)
27、=1+1+0=22.31)H(X)=0.918bit,H(Y)=0.918bit2222)H(X
28、Y)=bit,H(Y
29、X)=bit,H(X
30、Z)=bit3333)I(X;Y)=0.251bit,H(XYZ)=1.585bit2.4证明：(1)根据熵的可加性，可直接得到(2)∵Y的值取自(a,a,⋯,a),∴H(Y)≤log(k−1),故原式得证12k−12.5考虑如下系统：X⊕ZY假设输入X、Y是相互独立的，则满足I(X;Y)=0又I(X;Y
31、Z)=H(X
32、Z)－H(X
33、YZ)=H(X
34、Z)=1bit1不妨设P(Z=0)=P(Z=1)=2设P(X=0,Y=0
35、
36、Z=0)=pP(X=1,
