资源描述：
《信息论讲义-第三章(6讲)new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础第6讲北京航空航天大学201教研室陈杰信源分类p()xi≥=0,1,2,",q⎡⎤X⎡xx12"xn⎤i离散信源⎢⎥=⎢⎥q⎧⎣⎦P⎣px()12px()"px()n⎦∑px()1i=随机变量X⎨i=1离散无记忆信源⎩⎡X⎤⎡(,)ab⎤b连续信源⎢⎥⎢=⎥px()0,⎧的≥=N次扩展信源∫pxdx()1a⎣Pp⎦⎣()x⎦离散平稳信源⎨⎧⎩平稳信源⎨有限记忆信源⎧⎩随机序列X⎨连续平稳信源⎩特例采样定理非平稳信源马尔可夫信源随机过程X(t)332006-10-23第三章离散信源•内容提要
2、3.1信源的数学模型及其分类3.2离散无记忆信源3.3离散无记忆信源的扩展信源3.4离散平稳信源3.5马尔可夫信源3.6信源的相关性和剩余度342006-10-233.4离散平稳信源1.离散平稳信源定义XX12"XN⎧⎪tP时刻(X12X"XN)离散平稳信源⎨相等⎪th+时刻PXXX()"⎩12N若信源产生的随机序列X,i=1,2…满足i（1）所有X都取值于信源符号集信源发出的符号序列的概A={a,a,…,a}i12q（2）随机序列是率分布与时间起点无关平稳的，即对所有非负整数i,i,…,12ih及x,x,…,x
3、∈A有N，12NPX{,,=xX==x",}Xxii1212iNN===P{,,XxXxXx",}=ih12++12ihihN+N352006-10-233.4离散平稳信源•一维平稳信源若任意时刻信源发出符号的概率完全相同,即P(X=x)=P(X=x)=p(x),且x∈A={a,a,…,a}ij12q其中i,j为任意整数，且i≠j。示例:离散无记忆信源的扩展信源PXaPXaPa()ij==11()==()1⎫如一阶近似英文字符信源⎪AINGAEITENNRASAEVOTEBAINTHAPXa()ij====22P
4、Xa()Pa()2⎪⎪⎬i≠jHYROOPOERSETRYGAIETRWCO#⎪EUARUEUCFTNSREMDIYEESEFO⎪PXa()iq====PXa()jqPa(q)⎪⎭SRISRUNN362006-10-233.4离散平稳信源•二维平稳信源如果随机序列的二维联合分布p(xx)也与时间起ij点无关，即P(X=x,X=x)=P(X=x,X=x)=p(xx)i1j2i＋h1j＋h2ij且x,x∈A={a,a,…,a},其中i,j为任意整数,且i≠jij12q示例:如二阶近似英文字符信源URTESHETHIN
5、GADEATFOULEITHALIORTWACTDSTEMINTSANOLINSTWIDOULYTETHIGHECOYSTHHRUPAVIDE382006-10-233.4离散平稳信源•平稳信源若信源的N维联合分布p(xxx)与时间起点无12…N关，即(PXxXxXx=,==,",)ii1212iNN====PX(,,xXxX,)xjjj1212NN则称具有这种性质的信源是完全平稳的。完全平稳的信源简称为平稳信源。392006-10-233.4离散平稳信源2.离散二维平稳信源的熵X=(XX12)①特性：•信源输出
6、的随机序列是平稳的。•输出符号每两个符号之间是关联的。•取值同一符号集合A={a,a,…,a}。12q②概率空间⎡aa11aa12""aaijaaqq⎤[]XPX==[12XP]⎢⎥⎢⎣p()()aa11paa12""paa()ijpaa()qq⎥⎦P()aaij==PaPaa(i)i"(ji
7、,)ij1,2,,q402006-10-233.4离散平稳信源③离散二维平稳信源的熵•联合熵qqH()X==HXX(12)−∑∑paa()log()ijpaaijij==11•条件熵qqHXX()21
8、l=−∑∑Paa()
9、()ijjiogPaa
10、iij==11412006-10-233.4离散平稳信源•联合熵与条件熵的关系qqHXX()12,=−∑∑paa()ij⎡⎤⎣⎦logpaa()ji
11、+logpa()iij==11qq⎡⎤联合熵＝qq=−∑∑⎢⎥p()aaijlogpa()i−∑∑paa()()ij,log
12、paajiij==11⎣⎦前一个符号的信息熵＋ij==11q前一个符号已知时信源发=−∑pa()iilogpaHXX()−(21
13、)出下一个符号的条件熵i=1=+HXHXX()(12
14、1)同理H()XX12,
15、=+HX
16、(2)HXX(12)422006-10-233.4离散平稳信源•条件熵和信息熵的关系因为X和X取自同一符12号集合A={a,a,…,a}H(XXHX
17、)≤()12q212H(XH12)==(XH)(X)•联合熵与信息熵的关系H(XX12)≤+HX(1)HX(2)=2H(X)释：①当且仅当X和X统计独立时，等号成立，12此时信源是离散无记忆信源的二次扩展信源②当X和X之间有
