信息论-第1章节单符号离散信源

《信息论-第1章节单符号离散信源》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章单符号离散信源内容提要1.1信源的数学模型1.2信源符号的自信息量1.3信源的信息熵11.1信源的数学模型信源信源是信息的发源地，其输出称作消息。信源的数学模型用概率场描述其中即信源的概率空间是完备的。2离散信源信源输出是离散的消息符号，用离散随机变量描述。最简单的离散信源（单符号）可用一维离散随机变量来描述的，其数学模型为其中且通常q为有限正整数，也可为可数无穷大。32.连续信源信源输出为连续信号形式，可用连续随机变量来描述。最简单的连续信源可用一维连续随机变量来描述，其数学模型为其中p(x)为连续随机变量的概率密度函数，(a,b)为X的存在域，且41.2信源符号的自信息量信息

2、量＝不确定性的消除信源收信者5信息量的特性事件（消息）的信息量大小与其不确定度（概率）有关事件概率越小，信息量越大确定性事件的信息量为零，不可能事件的信息量为无穷大信息量具有可加性61.2.1自信息量自信息量任意简单随机事件xi的发生概率为p(xi)，则自信息量为一、简单事件释：p(xi)≤1，表示事件xi出现的概率,取“-”号的主要目的是：使I(xi)≥07自信息量的单位以2为底：比特（bit）(binaryunit)以e为底：奈特（nat）(natureunit)以10为底：哈脱来（Hart）(Hartley)换算关系：1nat1.443bit1Hart3.322bit一般取以

3、2为底，1bit的信息量就是二元概率空间在等概时的每个事件蕴含的自信息量。注：计算机技术中的述语“比特”表示一个二元数字，每个二元数字所能提供的最大平均信息量为1比特。8例1.2.1英文字母中“e”的出现概率为0.105，“c”的出现概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：根据自信息量的定义“e”的出现的信息量为“c”的出现的信息量为“0”的出现的信息量为9自信息量函数的图形从函数图形可以看出自信息量的哪些特性呢？10例：相互独立事件X=x1,Y=y1同时发生，其发生概率为p(X=x1,Y=y1）=p(x1)p(y1)，而f满足：f(p(X=x1,Y

4、=y1）)=f(p(x1))+f(p(y1))（1）单调性：pif(pi)（2）f(pi)非负f(pi)≥0：任何随机事件发生存在不确定性。（3）可加性多随机事件同时发生（相互独立）存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。111.2.1自信息量（续）联合自信息量二维联合集XY上元素(xiyj)的自信息量定义为其中，xiyj是积事件；p(xiyj)是二维联合概率二、联合事件121.2.2条件自信息量条件自信息量若事件xi在事件yj给定条件下的概率为p(xi

5、yj)，则其条件自信息量定义为因为p(xi

6、yj)≤1，所以条件自信息量非负即：I(xi

7、yj)≥0。思考

8、：答案：大于、小于、等于三种情况都有可能！！！131.2.2条件自信息量例1.2.2设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：（1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号（2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。14解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布（1）在二维联合集XY上的元素的自信息量为（2）在二维联合集XY上，元素的条件自信息量为151.3离散集的信息熵1.3.1信息熵（平均自信息量,Entro

9、py）1.3.2熵函数的数学性质1.3.3条件熵1.3.4联合熵1.3.5各种熵的性质1.3.6加权熵加权熵定义加权熵性质161.3.1信息熵熵的定义在离散集X上，随机变量I(xi)的数学期望定义为平均自信息量又称作集X的信息熵，简称熵。17如果一个事件的概率为0，它无法提供任何信息。定义0log0等于0，即零概率事件的信息熵为零。信息熵的单位取决于对数的底。设有一个包含n个消息的集合X,其概率空间为每个消息的概率相等，均为1/n。选取对数底为n（n进制/符号），可以说集合X包含了1个n进制单位的信息量。18信息熵单位对数的底a=2时，信息熵单位为比特/符号(bit/符号）对数的底

10、a=e时，信息熵单位为奈特/符号(nat/符号）对数的底a=3时，信息熵单位为铁特/符号(Tet/符号）对数的底a=10时，信息熵单位为哈特/符号(Hart/符号）换底公式转换19例1.3.1电视屏上约有500×600个格点，按每点有10个不同的灰度等级考虑，则共能组成个不同画面。按等概计算，平均每个画面可提供的信息量为多少？有一篇千字文，假定每字可从万字表中选取，则共有不同的千字文多少篇？按等概计算，平均每篇千字文可提供的信息量为多少？20解