资源描述：
《信息论基础第二章信源熵-习题答案》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、2.4设离散无记忆信源XP(X)兀[=0兀2=1兀3=2X4=33/81/41/41/8,其发出的信息为(202120130213001203210110321010021032011223210),求(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:(]25X——,4丿此消息的信息量是：/=-log/?=87.811bit(2)此消息中平均每符号携带的信息量是：//〃=87.811/45=1.951bit2.6■X'x2兀4尤5兀6'>P(X).[0.20.190.180.17
2、0.160」74H(X)=-工"(xjlog#(兀)=2.010/=!设信源求这个信源的储，并解释为什么>Iog6不满足信源储的极值性。解：6H(X)=-工/?(%,)logp(xji=-(0.2log0.2+0.19log0.19+0.181og0.18+0.171og0」7+0.161og0.16+0.171og0.17)=2.657bit/symbolW(X)>log26=2.5856不满足极值性的原因是工#(兀)=1.07>i。2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求:(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事件的自信息；(3)两
3、个点数的各种组合(无序)对的*商和平均信息量；(4)两个点数之和(即2,3,…，12构成的子集)的储；(5)两个点数中至少有一个是1的自信息量。解：⑴用随机事件兀表示“3和5同时出现”，贝UI(xi)=-logp(xj=-log—=4.170bit18(2)用随机事件齐表示“两个1同吋出现”，则p(xj=—X—=—'6636/(兀)=-logp{xi)=-log—=5」70bit⑶两个点数的排列如下:111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11,22,33,44,5
4、5,66的概率是卜卜召其他"组合的概率是2x肚诂=4.337bitIsymbolH(X)=-工p(x/)logp(x,)=-f6x-^log-^+15x-l-log-^/I3o3b1o1o⑷参考上而的两个点数的排列，可以得出两个点数求和的概率分布如H：Xf234567891()1112111115151111]p(X)_、3618129366369121836.H(X)=-工卩(无)logpg1.1c1I1,1.1,1.1,5,51I1)-2x——log—+2x—log—+2x—log—+2x—log—+2x—log—+—log—I36361818121299363666)=3.274b
5、it/symbol⑸p(x.)=—x—xl1=——'6636/(xz)=-log/?(%,)=-log=1.710bit362.10对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：L冷】2晴I皈8忙L冷27I宦16若把这些频度看作概率测度，求：(1)忙闲的无条件爛；(2)天气状态和气温状态已知时忙闲的条件爛；⑶从天气状态和气温状态获得的关于忙闲的信息。解：(1)用随机变量X表示交通的忙闲状态，「X1馬忙兀2闲P(X)=V6340}U039103」根据忙闲的频率，得到忙闲的概率分布如下：H(X)=-X^)log^.)=^而吨而+
6、而宓而卜°964bitZbol(2)设忙闲为随机变量X,天气状态为随机变量气温状态为随机变量ZH(XYZ)=-ZEE^-y^JlogpCx.y.zJiJk(12,128,827I2716,16——log1log1log1logU031031031031031031031038,815,155,512
7、12)Hlog1iOS11021102103103103103103103103103丿=2.836bitIsymbol1/(炖=-工工心zQlog〃(儿•zQ(20.2023
8、2332〔3228〔28)——log1log1log1log(103103103103103103103103丿=
9、1.977bitIsymbolH(X/YZ)=H(XYZ)—H(YZ)=2.836-1.977=0.859bit/symbol⑶I(X-YZ)=H(X)-H(X/YZ)=0.964-0.859=0.105bit/symbol2.13设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)二0.4,P(1)二0.6的概率发出符号。(1)试问这个信源是否是平稳的？⑵试计算HOO,HCXs/XM及仏；(1
