资源描述：
《信息论第二章信息的度量.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第2章信息的度量内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第2章信息的度量2.1自信息量和互信息量一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。对于随机事件集X={x1，x2，…，xi，…，xI}中的随机事件xi，其出现概率记为q(xi)，将两个事件xi,yj同时出现的概率
2、记为p(xiyj)，则q(xi)，p(xiyj)应满足：相应的条件概率为信息量直观的定义为：收到某消息获得的信息量=不确定性减少的量将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=f[q(x)]2．1．1自信息量和条件自信息量自信息量联合自信息量条件自信息量信息量1．自信息量直观地看，自信息量的定义应满足以下四点：a.I(x)应该是q(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；b.信息量应具有可加性：对于两个独立事件，其信
3、息量应等于各事件自信息量之和；c.当q(x)=1时，I(x)=0：表示确定事件发生得不到任何信息；d.当q(x)=0时，I(x)→∞：表示不可能事件一旦发生，信息量将无穷大。综合上述条件，将自信息量定义为:(2-1)自信息量的单位与log函数所选用的对数底数有关，如底数分别取2、e、10，则自信息量单位分别为：比特、奈特、哈特一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1个、3个，将从盒子中取出阻值为iΩ的电阻记为事件（i=1，
4、2，3），则事件集X={x1,x2,x3}，其概率分布计算出各事件的自信息量列表2-1如下：消息xix1x2x3概率分布q(xi)1/31/61/2自信息量I(xi)log3log6log2自信息量具有下列性质:图2.1对数曲线1是非负值。23的单调递减函数。4自信息量自信息量I(xi)代表两种含义：1.事件xi发生以前，表示事件发生的先验不确定性2.当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下）二维联合集XY上元素xiyj的联合自信息量I(xiyj)定义为：(2-3)2.联合自信息量其中),
5、,2,1;,,2,1(1)(0mjnibapjiLL==££3.条件自信息量在已知事件yj条件下,随机事件xi发生的概率为条件概率φ(xi︱yj),条件自信息量定义为：(2-5)代入式自信息量的公式就有联合自信息量和条件自信息也满足非负和单调递减性，同时，它们也都是随机变量。自信息量、条件自信息量和联合自信息量之间有如下关系式：4.联合自信息量和条件自信息量间的关系【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若：1.甲只知道乙住在第5栋，他找到乙的概率有多
6、大？他能得到多少信息？2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集XY上的等概分布，这一事件提供给甲的信息量为I(xiyj)=-logp(xiyj)=log60=5.907（比特）（2）在二维联合集XY上的条件分布概率为，这一事件提供给甲的信息量为条件自信息量I(yj︱xi)=-logp(yj︱xi)=log12=3.585（比特）1.互信息量信源符号X={x1，x2，…，xI}，xi∈{a1,a2,…
7、,ak}，i=1,...,I。信宿方接收到符号Y={y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。图2－1简单的通信模型{x1，x2，…xI}{y1，y2，…yJ}信源符号集{a1,a2,…,ak}信源{b1,b2,…,bD}信宿符号集干扰信道信宿2．1．2互信息量和条件互信息量事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi︱yj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi;yj)表示：。
8、注：式（2-6）的I(xi；yj)和式（2-3）的I(xiyj)的区别在于：前者是事件xi∈X和事件yj∈Y之间的互信息量，后者是二维空间XY上元素xiyj的自信息量。称(2-6)式为事件xi和事件yj之间的互信息量。（2-6）根据概率互换公式p(xiyj)=p(yj︱xi)q(xi)=φ(xi︱yj)ω(yj)互信息量I(xi;yj)有多种表达形式:(2-
