资源描述：
《第二讲信息量和熵ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第二讲信息量和熵信源信道信宿噪声源编码器译码器消息干扰接收信号消息数字通信系统模型有效性、可靠性Review发送信号2.1离散信源的数学模型 及信息测度信源的数学描述通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源。不同的信源输出的消息的随机性质不同，可以根据消息的不同的随机性质来对信源进行分类：按照某时刻信源输出消息的取值集合的离散性和连续性,信源可分为离散信源和连续信源。
2、按照信源输出消息的所对应的随机序列中随机变量前后之间有无依赖关系,信源可分为无记忆信源和有记忆信源。按照信源输出消息的所对应的随机序列的平稳性,信源可分为平稳信源和非平稳信源。信源的分类离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。数学模型：注：X代表随机变量，指的是信源整体；ai代表信源的某个元素。简单信源数学模型：注：这里的p(x)代表概率密度函数。简单信源连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。离散信源在不同时刻发出的符号之间是无依赖的彼此
3、统计独立的。其中，且离散无记忆信源由离散无记忆信源输出N长的随机序列构成的信源。离散无记忆信源N次扩展信源掷两枚硬币掷一枚硬币离散平稳信源：输出的随机序列中每个随机变量取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变。连续平稳信源：输出的随机序列中每个随机变量取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变离散无记忆信源：离散信源在不同时刻发出的符号之间是彼此统计独立的。其它几种常见信源有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。m阶马尔可夫信源
4、：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。随机波形信源：信源输出的消息在时间上和取值上都是连续的。其它几种常见信源设单符号离散信源的概率空间为自信息量定义如果知道事件xi已发生，则该事件所给出的信息量称为自信息，定义为:对数换底关系：自信息量定义I(xi)含义当事件xi发生以前,表示事件xi发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量I(xi)单位常用对数底是2,信息量的单位为比特(bits)；若取自然对数,则信息量的单位为奈特(nats);1nat＝log2e≈l.
5、433bit，或(1)I(xi)是非负值(2)当p(xi)=1时，I(xi)=0(3)当p(xi)=0时，I(xi)=∞(4)I(xi)是先验概率p(xi)的单调递减函数，即当p(x1)＞p(x2)时，I(x1)＜I(x2)(5)两个独立事件的联合信息量等于它们分别的信息量之和，即统计独立信源的信息量等于它们分别的信息量之和。自信息的性质二进制码元0,1,当符号概率为p(0)=1/4,p(1)=3/4,则这两个符号的自信息量为：I(0)=-log2(1/4)=log24=2bitsI(1)=-log2
6、(3/4)=0.4151bits一个以等概率出现的二进制码元(0,1)所包含的自信息量为：自信息量例题I(0)=I(1)=-log2(1/2)=log22=1bits自信息量例题一次掷两个色子，求下列事件发生后提供的信息量。a.仅有一个为3；b.至少有一个为4；c.两个之和为偶数。解：一个色子有6个符号，X={1,2,3,4,5,6}，两个色子的总数为36。a.事件概率为5*2/36=5/18b.事件概率为（5×2+1）/36=11/36c.事件概率为6×3/36=1/2则：I(a)=log(18/5
7、)=1.848(bits)I(b)=log(36/11)=1.7105(bits)I(c)=log2=1(bits)考虑两个随机事件，其联合概率空间为联合自信息与条件自信息在事件yj出现的条件下，随机事件xi发生的条件自信息量条件自信息量联合自信息量联合自信息量和条件自信息量关系当X和Y独立时，信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，称为信源的信息熵，也叫信源熵或香农熵，简称熵。熵函数的自变量是X表示信源整体，实质上是离散无记忆信源平均不确定度的度量。与自信息
8、不同,自信息表示某一消息所含有的信息量，它是一个随机变量,不能用它来作为整个信源的信息测度。信源熵定义信源熵H(X)的物理含义－信源输出后，每个离散消息所提供的平均信息量；－信源输出前，信源的平均不确定度；（反映了随机变量X的随机性）－对该信源输出进行无错编码所需的最小编码长度;－消除信源不确定度所需要的信息的量度.信源熵理解注意:电视屏上约有500×600=3×105个格点，按每格点有8个不同的灰度等级考虑，则共能组成个不同的画面。=9×105bits
