2014_信息论导论_复习-l1new

《2014_信息论导论_复习-l1new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章概论理解信息、信号、消息三者的关系通信系统传输的是信号，信号承载着消息，消息中的不确定成分是信息。理解什么是信息？信息是消息中具有不确定性的成分，通信的过程就是一个减少不确定性的过程。第1章概论信息传输的目标及理论依据：有效—信源；可靠—信道安全–密码学信息论和香农信息论的研究内容香农信息论也称为狭义信息论，主要研究语法信息中的概率信息,信息论主要解决信息的有效、可靠传输问题。2014/6/12一个定义(信息量)，3个度量，3个定理信息论导论3第2章离散信源及离散熵理解：•定义和特点：平稳信源、无记忆信源、N维扩展信源、M阶马尔科夫信源•掌握：•熵的

2、性质：非负、上凸、最大熵定理•计算:•自信息量、条件信息量、联合信息量•信源熵、联合熵、条件熵、平均符号熵、极限熵•特殊信源的条件熵、极限熵和联合熵：N维扩展信源、马尔科夫信源第2章离散信源及离散熵掌握离散信源的表示方法，理解平稳信源和无记忆信源Xaa12anPX()Pa()()12PaPa()nn其中,0Pa()1,iii1,2,,n且Pa()1i1平稳性：任意两个不同时刻k和l，k=1,2,…，l=1,2,…，其取值集合和概率分布与时间起点无关相同无记忆：符号序列间相互独立，统计特性无关联性5掌握离散平稳信源联合熵

3、、条件熵的定义和关系，信息量自信息量条件自信息量联合自信息量I()log()xPixxiI(/)yxjijlbPyx(/)iI()xyijlbPxy()ijN信源熵HX()PxIx()()iii1mn条件熵HYX()py(xij)Iy()jxiji11nm联合熵HXY()pxyIxy()ij()ijij11第2章离散信源及离散熵掌握离散信源熵的性质1.非负性2.对称性3.上凸性4.最大熵定理：n元信源的熵的上限为H()lbnXH，即()logXn2当信源为等概信源时，可得到最大信源熵。7第2章离散信源及离散熵5.条件熵小

4、于信源熵，H(/)()XXHX212推论1.多条件熵小于单条件熵，HXXX(/)(/)HXXHXX=(/)3123221推论2.联合熵小于无条件熵之和HXX()(HXHX)+()1221推论3*.平均熵小于无条件熵（HXHX()12=()时）1H()(XXHXHX)=()121228第2章离散信源及离散熵掌握多符合联合熵、平均符号熵和极限熵的计算联合熵的链式法则：HXX()XHXX()XHXXX(/)X12NN121N12N1HX()(/)HXXHXXX(/X)121NN121该符号的平均符号熵，即熵率为1HX()XXH(

5、)XXXNN1212NN该多符号信源的极限熵为11HHlim(XXXH)lim(X/XXX)12NN12N1NNNN9第2章离散信源及离散熵理解马尔科夫信源的定义和特点Px(/xxxxx)(/Pxxxx)iimm11ii2im1im2iimm11ii2则发送序列转换为一系列的状态m......SSS......,Sei{,1,2,...n}ll11lli掌握马尔科夫信源状态转移图表示方式Px(/xxx)(/)Pxeiimm11ii2iim1P(/xxxe)ii23im1iPee(/)ji2014/6/12

6、第2章离散信源及离散熵1.状态转移图P(/)ee（右进左出），0.8ji注意转移概率的完备性e12.解转入状态方程组,得状态概率0.20.50.5mnmp()eP()(ePe/)ej1,2,...,njijieei123mn因此可得个符号的联合熵为：mHE()mPelbP()()iie0.5j10.50.2e3.计算极限熵(转出状态和)4HHXXXXH=(/)mm112m1nnmm0.8P()(/)(/)ePeelbPeeijijiij1111第2章离散信源及离散熵已知极限熵和状态概率，可进一步求得其他统计值，mn符号概率P()

7、xPiimm11(xei)()Peii1联合熵(HXXXX)12mm1H()XXXHX(/)XXX12mm112mHE()Hmm1条件熵()HXmm212XXXXm1HX(/XXX)mm2231Hm112第2章习题2.4设离散无记忆信源Xaaaa01231234PX()3/81/41/41/8其发出的消息为(20212013021300123210110321010021032011223210)（1）此信息的自信息量？（2）在此消息中平均每个符号携带的信息量？(3)该信源的信