资源描述：
《信息论讲义-总复习(16讲)new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息理论基础信息理论基础总复习北京航空航天大学201教研室陈杰1第一章绪论熟练掌握：信息的概念信息、信号和消息的区别通信系统模型2通信系统模型3第二章信息的统计度量熟练掌握：自信息量和条件自信息量互信息量和条件互信息量离散集的平均自信息量离散集的平均互信息量连续型随机变量的熵42.1自信息量和条件自信息量1.自信息量：任意随机事件xi的发生概率为p(xi)，则自信息量为I(x)=−logp(x)ii2.条件自信息量：若事件xi在事件yj给定下的概率p(xi
2、yj)，则其条件自信息量定义为：I(x
3、y)=−logp(x
4、y)i
5、jij52.2互信息量和条件互信息量互信息量：p(xi
6、yj)11I(x;y)=log=log−logijp(x)p(x)p(x
7、y)iiij条件互信息量：在联合集合XYZ中，在给定zk条件下，和xiyj间的互信息量定义为条件互信息量，即p(x
8、yz)ijkIxyz(;
9、)log=ijkp(xz
10、)ik62.3离散集的平均自信息量1.离散集的平均自信息量：符号集合X上，自信息量的数学期望定义为平均自信息量，即信息熵。H(X)=E[I(x)]=E[−logp(x)]iiq=−∑p(xi)logp(xi)i=12.熵函数的基本性
11、质：1.对称性；2.非负性；3.确定性；4.扩展性；5.可加性；6.极值性；7.上凸性。72.3离散集的平均自信息量（续）1.条件熵：HYX(
12、)(==∑pxijy)I(yji
13、xp)(−∑xijy)logp(yji
14、x)XYXY2.联合熵：H(X,Y)=∑p(xiyj)I(xiyj)=−∑p(xiyj)logp(xiyj)XYXY3.信息熵、联合熵和条件熵的关系1.H(X,Y)=H(X)+H(Y
15、X)H(X,Y)=H(Y)+H(X
16、Y)推广：H(X,X…,X)=H(X)+H(X
17、X)+"+H()X
18、XX…,X12N121N
19、12N−1n=∑H()Xi
20、X1X2…,Xi−1i=12.H(X,Y)≤H(X)+H(Y)H(Y
21、X)≤H(Y);H(X
22、Y)≤H(X)82.4离散集的平均互信息量1.平均条件互信息量：I(X;yj)=∑p(xi
23、yj)I(xi;yj)X2.平均互信息量：平均条件互信息量I(X;y)在整个集上的概率加权平均值。jI(X;Y)=∑p(yj)I(X;yj)Y离散集的平均互信息量性质：1.非负性；2.互易性；3.极值性；4.凸函数；5.平均互信息量和各种熵的关系；I(X;Y)=H(X)−H(X
24、Y)=H(Y)−H(Y
25、X)=H(X
26、)+H(Y)−H(X,Y)92.5连续型随机变量的熵1.平均互信息：def∞pxy()I(;)XY=∫∫pxy()logdxdy(MutualInformation)−∞pxpy()()2.平均自信息量：HXHXHX()=+()()Δ0C绝对熵：HX()lo＝-gΔ0相对熵：∞H()Xp=−()log()xpxdxC∫3.联合熵：−∞(JointEntropy)∞H()XY=−pxy()log()pxydxdyC∫∫4.条件熵：−∞(ConditionalEntropy)∞H(
27、)XY=−pxy()log(
28、)pxydxdy
29、C∫∫−∞10第三章离散信源熟练掌握：信源的数学模型及其分类、离散无记忆信源、离散无记忆信源的扩展信源、离散平稳信源、信源的相关性和剩余度马尔可夫信源（联合熵、平均符号熵、极限熵）113.1信源的数学模型1.数学模型信源的数学模型可以用概率场来描述⎡x1x2"xq⎤[XP]=⎢⎥⎢⎣p(x1)p(x2)"p(xq)⎥⎦信源的输出是随机变量，其可能取的消息符号只有q个2.信源分类：无记忆信源：消息符号之间无影响有记忆信源：消息符号存在彼此依存的关系123.2离散无记忆信源1.定义：设信源X输出符号集x=(x1,x2,",xq)
30、，每个符号发生的概率为p(xi),i=1,2,",q，消息符号彼此互不相关，且p(xi)为完备的概率空间，则称X为离散无记忆信源2.自信息量：设信源X中，事x发生的概率为p(x)，它所包含的自信息量为iiI(x)=−logp(x)ii3.信息熵：信源输出的各消息的自信息量的数学期望为信源的平均自信息量，即信息熵。qH(X)=E[I(xi)]=−∑p(xi)logp(xi)i=1H(X)是p(x)的函数，是信源输出平均每个符号携带的信息量。133.3离散无记忆扩展信源1.数学模型设X是一个离散无记忆信源，其概率空间为⎡a1a2
31、"aq⎤[Xp(x)]=⎢⎥⎢⎣p1p2"pq⎥⎦则X的N次扩展信源XN是具有qN个消息符号的离散无记忆信源。其N重概率空间为⎡aa"aN⎤N12q[Xp(a)]=⎢⎥⎢⎣p(a1)p(a2)"p(aqN)⎥⎦2.扩展信源的熵N次扩展信源的熵：NH(X)=NH(X)H(XN)是扩展信源输出
