[工学]z第二章_信源熵

《[工学]z第二章_信源熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章：概述第2章：信源熵第3章：信道容量第4章：信息率失真函数第5章：信源编码第6章：信道编码第7章：密码体制的安全性测度统计度量：用事件统计发生概率的对数描述事物的不确定性，得到消息的信息量，建立熵的概念。熵概念是香农信息论最基本最重要的概念。事件消息信息§2.1单符号离散信源§2.3连续信源§2.2多符号离散信源§2.4离散信源无失真编码定理§2.1.6各种熵之间的关系§2.1.1单符号离散信源的数学模型§2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.4加权熵的概念和基本性质§2.1.5平均互信息

2、连续信源离散信源单符号离散信源多符号离散信源信源输出的是一个个符号，这些符号的取值是有限的或可数的。只涉及一个随机事件的离散信源。可用离散随机变量来描述。涉及多个随机事件的离散信源。可用随机矢量来描述。输出连续消息的信源。可用随机过程来描述。信源离散信源连续信源单符号多符号随机变量随机矢量随机过程信源分类定义如果信源发出的消息是离散的、有限或无限可列的符号或数字，且一个符号代表一条完整的消息，则称这种信源为单符号离散信源。单符号离散信源的定义单符号离散信源的实例掷骰子每次只能是1,2,3,4,5,6中的某一个；天气预报可能是

3、晴、阴、雨、雪、风、冰雹…中的一种或其与温度、污染等组合；二进制通信中传输的只是1、0两个数字；等等。这种符号或数字都可以看作某一集合中的事件，每个符号或数字（事件）都是信源中的元素，它们的出现往往具有一定的概率。信源又可以看作是具有一定概率分布的某一符号集合。对于离散随机变量，取值于集合单符号离散信源的数学模型为(2.1.2)对任一记需要注意的是：大写字母X、Y、Z代表随机变量，指的是信源整体。带下标的小写字母:代表随机事件的某一结果或信源的某个元素。§2.1.4加权熵的概念和基本性质§2.1.1单符号离散信源的数学模型§

4、2.1.2自信息和信源熵§2.1.3信源熵的基本性质和定理§2.1.5平均互信息§2.1.6各种熵之间的关系随机变量X、Y分别取值于集合联合随机变量取值于集合记无条件概率、条件概率、联合概率满足下面一些性质和关系：123全概率公式456Bayes公式一、信息量自信息量联合自信息量条件自信息量信息量I(ai)实质上是无量纲的?为研究问题的方便，根据对数的底定义信息量的量纲对数的底取2，则信息量的单位为比特（bit）；?取e（自然对数），则单位为奈特（nat）；?取10（常用对数），则单位为哈特（Hart）。?利用换底公式容易求

5、得：自信息量1一个以等概率出现的二进制码元(0,1)所包含的自信息量是多少？例[2.1.1]这四种气候的自信息量分别为:某地二月份天气的概率分布统计如下：一次掷两个骰子，作为一个离散信源，求下列事件产生后提供的信息量。a.仅有一个为3；b.至少有一个为4；c.两个之和为偶数解：一个色子有6个符号，两个骰子的总数（信源符号数）为36。?a.事件样本数=5×2=10（另外一个不能为3）b.事件样本数=5×2+1=11（加上一个双4）?c.事件样本数=6×3=18（第一个的6个符号分别与第二个的3个符号构成事件）?则：p(a)=1

6、0/36=5/18;p(b)=11/36;p(c)=18/36=1/2;?I(a)=log(18/5)=1.848(bit);I(b)=log(36/11)=1.7105(bit);I(c)=log2=1(bit);自信息量具有下列性质:图2.1.1对数曲线1是非负值。23的单调递减函数。4图2.1.2自信息量曲线联合自信息量2信源模型代入式(2.1.3)就有若两个单符号离散信源（符号集合X,Y）统计独立,则X中出现ai、Y中出现bj的联合自信息量等于它们各自独立发生所得的自信息量之和。条件自信息量3定义：设在bj条件下，随

7、机事件ai的条件概率为P(ai/bj)，则ai的出现所带来的信息量被称为它的条件自信息量，表示为不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息的变化而变化。自信息量、条件自信息量和联合自信息量之间有如下关系式：联合自信息量和条件自信息也满足非负和单调递减性，同时，它们也都是随机变量，其值随着变量二、互信息量和条件互信息量由前可知，离散信源X的数学模型为互信息量1信宿Y的数学模型为图2.1.3简单通信系统模型信源X信宿Y有扰信道C干扰源N例[2.1.2]某地二月份天气构成的信源为一天有人告诉你：今天不是晴天

8、。率变成后验概率了。其中两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西。发送接收？？理想情况：收到后仍有不确定性，但比原来的不确定性发生了一些变化。不确定性变化的部分，即是观察者从接收端获得的关于发送端的信息量。发送接收？？理想情况：发送后仍有不确定性，但比原来的不确定性也发