资源描述：
《信息论讲义-第三章(8讲)new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础第8讲北京航空航天大学201教研室陈杰12006-11-6回顾⎯马尔可夫信源1.信源状态S={S,S,…S},J=qm12J⎧当前状态u=(a,a,a,⎪ll1l2l3…,alm)⎪⎨⎪⎪u⎩当前输出Xl=allXl=al新状态ul+1=(al2,al3,…,alm,al)ul+12.状态空间状态转移概率p(S
2、S)由⎡SS12"Sm⎤ijq⎢⎥条件符号概率确定⎢⎣pSS()ij
3、⎥⎦p(aaiimm+11
4、aaii2")22006-11-6回顾⎯马尔可夫信源3.极限熵当时间足够长时，遍历的m阶马尔可夫信源可视为平稳信源HH∞−=lim(XNN
5、X
6、12X"X1)N→∞=H(XXmm+112
7、XX")=Hm+1=∑pSHXS(j)(
8、j)sjH(X
9、S)是信源处于状态S时的条件熵jjH(XS
10、
11、j)=∑paS(ij)logpaS(ij
12、)Sj=∑pSS(ij
13、l)og
14、pSS(ij)Sj32006-11-63.5.3马尔可夫信源例3.7一阶马尔可夫信源的状态如例题图所示，信源X的符号集为{0，1，2}。（1）求平稳后的信源的概率分布；p（2）求信源熵Hp∞p01（3）求当p=0或p=1时信源的熵pp2p42006-11-63.5.3马尔可夫信源解（1）状态转移矩阵⎡pp0⎤⎢⎥P=pp0⎢⎥⎢⎣0pp⎥⎦令信源的平稳
15、分布为W=[WWW012]⎧Wp=+WpW001⎪则⎨Wp=+WpW112⎪⎩WWW++=101252006-11-63.5.3马尔可夫信源整理得，平稳后信源的概率分布1WWW===0123（2）求信源熵H。根据平稳分布∞H∞=∑pSHaS()(jkj)sj111=×3[pplog+log]3pp11=+pploglogpp62006-11-63.5.3马尔可夫信源（3）p=0时11Hpp=+lim[loglog]∞p→0pp3=−lim(pe)logp→0=0p=1时11Hpp=+lim[loglog]∞P→0pp3=−lim(pe)logP→0=072006-11-6
16、3.5.3马尔可夫信源解释：•信源熵表示的是信源的平均不确定性。•此题表明：某一状态转化到另一状态的情况一定发生或一定不发生，即是确定事件，则平均不确定性为零，即信源熵为零。p=01p=11101011122182006-11-63.6信源的相关性和剩余度1.相关性(1)平稳信源条件熵H(X
17、XX…X)随N的增加是非递增的N12N-1HXXX(NNN
18、
19、12""X−−1)≤HX(112XXXN−2)≤HX()
20、XX"XNN−−2123≤"≤HXX()
21、21≤HX()192006-11-63.6信源的相关性和剩余度(2)等概分布时，平稳信源熵最大，H=H=logqmax0(
22、3)HHH≥≥≥≥≥≥"HHH012NN−1∞(4)信源输出符号间的依赖关系使信源熵减小，这就是信源的相关性•相关长度越长，信源熵越小，趋于极限熵H∞•相关长度越短，信源熵越大，趋于极限熵H0102006-11-63.6信源的相关性和剩余度2.剩余度(1)信源剩余度定义为H∞R=−1H0其中，H为信源实际熵∞H=H为信源最大熵0max当信源等概率分布时，H=H=logq0max112006-11-63.6信源的相关性和剩余度(2)信源实际熵与具有同样符号集的最大熵的比值称为熵的相对率H∞η=H0所以,剩余度为R=1−η122006-11-63.6信源的相关性和剩余度•相关
23、程度大，熵相对率小，信源剩余度大•相关程度小，熵相对率大，信源剩余度小•信源存在剩余度对信息抗干扰不利，应尽量压缩信源剩余度•信源存在剩余度对信道抗干扰有利，常常人为会加入某种剩余度在信道中132006-11-63.6信源的相关性和剩余度例3.91.Zero-orderapproximation.(Thesymbolsareindependentandequiprobable.)XFOMLRXKHRJFFJUJZLPWCFWKCYJFFJEYVKCQSGXYDQPAAMKBZAACIBZLHJQDH=H=logq=log27=4.76比特/符号0max222.First-
24、orderapproximation(Thesymbolsareindependent.FrequencyoflettersmatchesEnglishtext.)OCROHLIRGWRNMIELWISEULLNBNESEBYATHEEIALHENHTTPAOOBTTVANAHBRLH=Σplogp=4.03比特/符号1ii142006-11-63.6信源的相关性和剩余度3.Second-orderapproximation.(ThefrequencyofpairsoflettersmatchesEnglishtext)ONI
