马尔可夫信源极限熵.docx

《马尔可夫信源极限熵.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第2章信源与信息熵香农信息论的基本点用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类•信源禺散信源连续信源离散无记忆信源离散佶源离散有记忆信源发山单个符号的无记忆佶源发出符号厅列的无记忆信源发岀符号序列的有记忆信源发出符号序列的马尔可夫信源单符号信源概率空间描述L/JLX«i）陀八…PS丄自信息量Z（^）=-logp（xJ=log—-P（兀）单位：bit（—个比特表示一个等概率的二进制符号信息量）自信息量与不确定度的关系不确定度：随机事件的不确定

2、度在数量上等于它的自信息量，两者的单位相同，但含义却不相同.一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小。一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大。若是确定性事件，出现概率为1,则它包含的不确定度为0。说明：具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。联合自信息量为：“心刃｝=-10R血斗Jj=10R条件自信息量为:pg，刀）信源熵=【信源的平均不确定度】=【平均自信息量】H(X)二可心)］二p(

3、xt)logi条件熵：H(X/Y)=ep(x,y)l(Xi

4、y)=Ep(x,y)logp(x

5、y)i,ji联合熵H(X,Y)=£p(xi,yj)l(xi,y)=2：p(x,yj)logp(xi,y)i,ji联合熵、条件熵与信源熵的关系H(XY)=H(X)+H(Y/X)，H(XY)=H(Y)+H(X/Y)互信息定义：后验概率与先验概率比值的对数l(xi；y)二logP(x/yj)P(Xi)平均互信息量I(X;Y)八zx,yp(x,y)log晋晋可看作唯一地确定信道噪声所需要的平均信息量.疑义度条件熵H(X/Y):噪声熵或散布度条件熵H(Y/X):信道上的干扰

6、和噪声所造成的对信源符号x的平均不确定度.互信息量与熵的关系H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X)>H(X/Y),H(Y)>H(Y/X)I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)H(XY)

7、种写法！)H(X-)=H(XX・・X)=H(Xi)+H(XXi)+…+H(X/XX・・Xi)平均每个符号的熵为1Hl(X)二［H(X!X2Xl)若当信源退化为无记忆时，有H(X^H(X1X^XL^H(X1)HX^HXL若进一步又满足平稳性时，则有H(X)=LH(XJ推广结论马尔可夫信源表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无

8、关。稳态分布概率定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，Wj称为稳态分布概率jWP=W马尔可夫信源极限熵：H：：(X)八p(sJH(X/sJ八WiH(X/Si)ii其中，HX/SiH-=p(Xj/Si)logp(Xj/sJj冗余度：它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度).定义信息效率:一H")Hm(X)定义冗余度:十「一HffiHm(X)其中：比(X)为信源实际熵，Hm(X)信源最大熵。习题2信源与信息熵习题2-1pu3

9、ui=0，pU2

10、u3=2/3，2.1一个马尔可夫信源有3个符号＜u

11、1,u2,u^，转移概率为：pu1

12、u1=1/2，pu2

13、u1=1/2，pui

14、u2=1/3，pU2

15、u2=0，pu3

16、u2=2/3，pui

17、u3=1/3，pU3

18、U3=0，画出状态图并求出各符号稳态概率。解:1/202/3p=1/3设状态u1.2/3WP=W由W1W2W-10丿u2，u3稳定后的概率分别为W1W2W3‘111—W1+—W2+—W3=W123312—W1+—W3=W223—W^—W33W1W2W3=1得:W1计算可得:

19、00)=0.8,p(0

20、

21、11)=0.2,p(1

22、00)=0.2，p(1

23、11)=0.8，p