信息理论基础总结

《信息理论基础总结》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、1、信息科学是以信息作为主要研究对象、以信息过程的运动规律作为主要研究内容、以信息科学方法论作为主要研究方法、以扩展人的信息功能（全部信息功能形成的有机整体就是智力功能）作为主要研究目标的一门科学2、材料科学、能源科学、信息科学是现代文明的三大支柱3、信息科学的基础是三大论：系统论、控制论、信息理论4、香农狭义信息论上，也就是三大块内容:信息的统计测度.信道容量和信息率失真函数，以及香农的三个重要定理：无失真信源编码定理、有噪信道编码定理和保真度准则下的信源编码定理5、本体论定义事物的信息是该事物运动的状态和状态改变的

2、方式6、认识论的意义上说,信息是认识主体（生物或机器）所感知的事物运动的状态和状态改变的方式，包括运动状态及其变化方式的形式、含义和效用。7、认识论层次的信息是同时考虑语法信息（外在形式）、语义信息（内在含义）和语用信息（效用价值）的全信息8、信息最重要的是按照性质分类：语法信息、语义信息、语用信息。语法信息又分成连续信息和离散信息。信息理论研究的语法信息9、消息是信息的载荷者，信号是消息的载体101仁：概率越小不确定性越大概率越大不确定性越小概率=1没有不确定性确定性越小确定性越大完全确定信息量越大信息量越小信息量为

3、零说明自信息量公式12、自信息量的定义：/（乞）=-logp（xj注意：/（兀7）是P（兀J的函数，而不是兀•的函数,■第I个符号划不确定性也就是它的概卷13、好藪运驚的性赛:P（兀）代表信源发出fli.i通宿JK就基本模教(1)log^-B=log^+ogBA(2)log—=log^-logBB(3)logB"=AogB(4)Alog^=Blog后譽弓log』(6)1-—

4、有对数/(兀儿)=To卯匕儿J14畠馨分息量9/(»•/儿)=-logpg/儿丿15、自信息函数总共有五个性质，分别是非负性、特殊值、单调递减性、可加性以及强可加性里点负性g"-I(xi)=lnp(xj)<[p(xt)-\^0(2)特殊值WO水丿=1Inx

5、/(兀儿)=Togpg儿J二—Wgp(xJp(y,Xi)=-logp(xi)-logp(yJ/xi)=/(兀)+/(儿./兀)(5)强可加性心,•儿)=/(“)+/(儿)含义：当随机变量X和随机变量Y相互独立时，联合自信息量、条件自信息量以及自信息量三者之间的关系就是强可加性。证明：Igy,=—lo卯仅必J=-ogp(xi)p(yj/xi)=-陀P(Xi)p(yJ=-ogp(xi)-ogp(yj)=/(兀)+/(儿)16,互信息量的定义：D(X.)/gyj=logP(x®)p(x)=-logp(^)+logp(X

6、•勿丿)i(xj-l(xjyj)联合互信息量：I(Xi；yjZQ=logPMjZQp(xj条件互信息量:/&”•儿•/zJ=logP(xJyjZQP(xJzJ互信息函数总共有四个性质,分别是可以为负、对称性、最大值/零值和可加性(2)30^或互易性)证明：仇儿丿TogP(xJ儿)P(xJp(^/yj)p(yj)=p(xjp®j)pgyj)p(xjp(yjpgyj)p(xjp(yjP(Xi)P®j/xjP(xi)p(yj)/g；儿JTog(3)最大值和零值证明：(最大值)心;儿Jiog卩(山/儿)p(xj=-log/?(

7、xz.)+10g/?(xz./v7)i(xj—l(xjyj)•・・/化/儿丿》0.'.-/(xjyJ.)<0•••I(Xi)—I(xJyj)5I(Xi)tI(Xjyj)="xj-1(］丨yj证明：(零值)前验/后验概率相等说明:(1)数学的角度。X,Y相互独立。(1)信息论的角度。前后不确定度相等。=log出包2+1跆出出2/化;儿丿二曜仔竽=0pgyj)=]卩(兀)pg/yj=p(xJ(4)可加性I(Xi；yjZQ=Igyj)+I(xt;zk/y.)=I(Xi；Zk)+I(Xj；yjlzQp(xi)p(xi/zk)

8、p(xjP(Xi/zQ=I(xi;zk)+I(xi;yj/zk)20、炳的定义：H(X)=E[l(Xi)]=》P(xJI(Xi)i=-工於丿log"®注意：炳就是信源符号的平均信息量。例题：一个布袋内放100个球，其中80个球是红色的，20个是白色的，若随机摸取一个球，猜测其颜色，求摸取一次所能获得的I信息量，攻皮平均彳言息量。X