资源描述：
《信息论与编码第三版-第2章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第二章信息的度量根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。内容提要一．自信息量和条件自信息量收到某消息获得的信息量＝不确定性减少的量在通信过程中，收信者所获得的信息量，在数量上等于通信前后不确定性的消除。因此，信息量直观的定义为：将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=f[p
2、(x)]一个随机事件的自信息量就是对其不确定性的度量。1．自信息量直观地看，自信息量的定义应满足以下四点：（1）I(x)应该是p(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；（2）信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；（3）当p(x)=1时，I(x)=0：表示确定事件发生得不到任何信息；（4）当p(x)=0时，I(x)→∞：表示不可能事件一旦发生，信息量将无穷大。综合上述条件，将自信息量定义为:单位：取决于对数的底。相互转换：哈特Ha
3、t比特Bit奈特Nat铁特Tet以10为底以e为底以2为底以3为底xi01p(xi)1/21/2I(xi)log2＝1bitlog2＝1bit【例】信源消息X＝{0，1}，信源等概率分布，计算出自信息量如表所示。可以看出，1bit的信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。【例】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1个、3个，将从盒子中取出阻值为iΩ的电阻记为事件xi（i=1，2，3），则事件集X={x1,x2,x3}，其概率分布计算出各事件的自信息量列表如下：消息xix1x2x3
4、概率分布p(xi)1/31/61/2自信息量I(xi)log3log6log2自信息量I(xi)代表两种含义：事件所能提供的最大信息量（无噪情况下）事件发生后事件发生的先验不确定性事件发生前【推广】二维联合集XY上元素xiyj的联合自信息量I(xiyj)定义为：2．条件自信息量在已知事件yj条件下，随机事件xi发生的概率为条件概率p(xi/yj)，条件自信息量定义为：【例】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若（1）甲只知道乙住在第5栋，找到乙的概率有多大？能得
5、到多少信息？（2）甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？【解】用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集XY上的等概分布，即甲找到乙这一事件提供给甲的信息量为：I(xiyj)＝－logp(xiyj)＝log60＝5.907（比特）（2）在二维联合集XY上的条件分布概率为这一事件提供给甲的信息量为条件自信息量：I(yj/xi)=－logp(yj/xi)＝log12＝3.585（比特）二．互信息量和条件互信息量1．互信息量从通信的角度引出互信息量的
6、概念。信源符号：X={x1,x2,…,xI}，xi∈{a1,a2,…,ak}，i=1,2,…,I。xi的概率分布p(xi)称为先验概率。经过信道传输，信宿方接收到符号信宿符号：Y={y1,y2,…,yJ}，yj∈{b1,b2,…,bD}，j=1,2,…,J。接收到符号yj后，接收者重新估计xi发生的概率，记为条件概率p(xi/yj)，也称为后验概率。事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xi/yj)度量。观察事件前后，这两者之差就是通信过程中所
7、获得的信息量，为事件xi和事件yj之间的互信息量。用I(xi;yj)表示：互信息量表明了两个随机事件的相互约束程度。根据概率互换公式p(xiyj)=p(yj/xi)p(xi)=p(xi/yj)p(yj)互信息量I(xi;yj)有多种表达形式：【推广】将事件互信息量的概念推广至多维空间。在三维XYZ联合集中，有：一对事件yjzk发生后，与事件xi之间的互信息量，等于事件yj与xi之间的互信息量加上在事件yj已知的条件下，事件xi与zk的之间的互信息量。类似，在N维U1U2…UN联合空间，有2．条件互信息量三维XYZ联合
8、集中，在给定条件zk的情况下,xi,yj的互信息量I(xi;yj/zk)定义为：3．互信息量的性质（1）互易性（对称性）：（2）可加性：（3）当xi，yj统计独立时，互信息量及条件互信息量均等于零。xi和yj相互独立，表明之间不存在统计约束关系。（4）互信息量I(xi；yj)可以是正数，也可以是负数。（5）两个事件的互信息量不大于单个事件的自信
