资源描述：
《信源与信源熵2》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、信源与信息熵第二章2.1信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信息2.5冗余度第二章信源与信源熵22.2离散信源熵和互信息2.2.1自信息量2.2.2离散信源熵2.2.3互信息2.2.4数据处理中信息的变化2.2.5熵的性质32.2.1自信息量设离散信源X，其概率空间为如果知道事件xi已发生,则该事件所含有的信息量定义为:……4自信息量I(xi)含义:当事件xi发生以后,表示事件xi所含有的信息量，或接收者所获得的信息量。自信息的单位的确定若取2为对数底
2、，信息量的单位为比特(bit)，信息论中常用此单位；若取自然对数e为底,则信息量的单位为奈特(nat);若以10为对数底,则信息量的单位为笛特(det)1nat＝log2e≈l.433bit，ldet＝log210≈3.322bit5不确定度定义：随机事件的不确定度在数量上等于它的自信息量。说明:两者的单位相同，但含义却不相同。具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的固有特性，它在事件发生之前就存在；而自信息量是在该事件发生后给予观察者的信息量。6不确定度一个出
3、现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小；一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大；若是确定性事件，出现概率为1，则它包含的不确定度为0。7I(xi)含义:当事件xi发生以前,表示事件xi发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量8自信息量I(xi)的特性：⑴I(xi)是非负值⑵当p(xi)=1时，I(xi)=0⑶当p(xi)=0时，I(xi)=∞⑷I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)
4、＞p(x2)时，I(x1)＜I(x2)⑸可加性9自信息量的计算一个以等概率出现的二进制码元(0，1)所包含的自信息量为：I(0)=I(1)=－log2(1/2)=log22=1bit一个m位的二进制数,有2m个等概率的可能组合I=－log2(1/2m)=mbit10联合自信息量定义：两个消息xi，yj同时出现的联合自信息量注意:当xi,yj相互独立时，有当xi,yj不是相互独立，有11条件自信息量定义在事件yj出现的条件下，随机事件xi发生的条件概率为p(xi
5、yj)，则它的条件自信息量定义为条件概
6、率对数的负值：12例2-3英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I(e)=－log20.105=3.25bit“c”的自信息量I(c)=－log20.023=5.44bit“o”的自信息量I(o)=－log20.001＝9.97bit132.2离散信源熵和互信息2.2.1自信息量2.2.2离散信源熵2.2.3互信息2.2.4数据处理中信息的变化2.2.5熵的性质14例2-4:一个布袋内放100个
7、球，其中80个球是红色的，20个球是白色的。求：①摸到红球获得的信息量；②摸到白球获得的信息量；③平均摸取一次所获得的信息量。解:依据题意,这一随机事件的概率空间为2.2.2离散信源熵其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件.15如果摸出的是红球，则获得的信息量是I(x1)=－log2p(x1)=－log20.8bit如果摸出的是白球，则获得的信息量是I(x2)=－log2p(x2)=－log20.2bit如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次后总共所获
8、得的信息量为np(x1)I(x1)+np(x2)I(x2)16平均随机摸取一次所获得的信息量为H(X):平均自信息量,称为信源X的熵。17离散信源熵定义离散信源的信源熵H(X)为信源中各个符号不确定度的数学期望，即：单位为比特/符号或比特/符号序列(平均不确定度/平均信息量/平均自信息量)18信源熵信源熵：从平均意义上来表征信源的总体信息测度的一个量。自信息：指某一信源发出某一消息所含有的信息量。自信息I(xi)是一个随机变量,不能用它来作为整个信源的信息测度。所发出的消息不同,它们所含有的信息量也
9、就不同。19信源熵信源熵具有以下三种物理含意：信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信息熵H(X)表示信源输出前,信源的平均不确定性。信息熵H(X)反映了变量X的随机性20例：甲地天气预报因为甲地可能出现的消息数多于乙地可能出现的消息数，故甲地比乙地提供更多的信息量。乙地天气预报求：两地天气预报各自提供的平均信息量21甲、乙地天气预报为两极端情况：这种情况下,信源的不确定性最大,信息熵最大。22甲、乙地天气预报为两极端情况：信源是一确定信源，所
