资源描述：
《信源熵第二章(3)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信源熵第二章—32.2.1单符号离散信源的数学模型2.2.2自信息和信源熵I、信息量1、自信息量；2、联合自信息量；3、条件自信息量II、互信息量和条件互信息量1、互信息量；2、互信息的性质；3、条件互信息量III、信源熵1、信源熵；2、条件熵；3、联合熵2.2.3信源熵的基本性质和定理2.2.4平均互信息量2.2.5各种熵之间的关系2.2单符号离散信源2回顾——单符号离散信源的互信息量和条件互信息量3互信息设有两个随机事件X和Y，X取值于信源发出的离散消息集合，Y取值于信宿收到的离散符号集合互信息定义：x
2、i的后验概率与先验概率比值的对数含义接收到某消息yj后获得的关于事件xi的信息量4互信息量条件互信息量联合互信息量互信息52.2.1单符号离散信源的数学模型2.2.2自信息和信源熵I、信息量1、自信息量；2、联合自信息量；3、条件自信息量II、互信息量和条件互信息量1、互信息量；2、互信息的性质；3、条件互信息量III、信源熵1、信源熵；2、条件熵；3、联合熵2.2.3信源熵的基本性质和定理2.2.4平均互信息量2.2.5各种熵之间的关系2.2单符号离散信源6III、信源熵7例2-6:一个布袋内放100个球
3、，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？解:依据题意，这一随机事件的概率空间为III-1.信源熵其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件。8如果摸出的是红球，则获得的信息量是I(x1)=－log2p(x1)=－log20.8bit如果摸出的是白球，则获得的信息量是I(x2)=－log2p(x2)=－log20.2bit如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np(x1)次，白球出现
4、的次数为np(x2)次。随机摸取n次后总共所获得的信息量为np(x1)I(x1)+np(x2)I(x2)9H(X):平均信息量,称为信源X的熵。信源熵、香农熵平均随机摸取一次所获得的信息量为10离散信源熵H(X)(平均不确定度/平均信息量/平均自信息量)定义：信源的平均不确定度H(X)为信源中各个符号不确定度的数学期望，即：单位为比特/符号或比特/符号序列III-1.信源熵11其概率空间分别为：得出：H(Y)＞H(X)信源Y比信源X的平均不确定性要大。例如：有两个信源12III-1.信源熵信息熵：从平均意义
5、上来表征信源的总体信息测度的一个量。自信息：指某一信源发出某一消息所含有的信息量。所发出的消息不同,它们所含有的信息量也就不同。自信息I(xi)是一个随机变量,不能用它来作为整个信源的信息测度。13信源熵与信息量的比较信源的平均不确定度消除不定度得到信息与信源是否输出无关接收后才得到信息确定值一般为随机量有限值可为无穷大熵信息量14信源熵具有以下三种物理含意：信息熵H(X)表示信源输出后，每个离散消息所提供的平均信息量。信息熵H(X)表示信源输出前，信源的平均不确定性。信息熵H(X)反映了变量X的随机性。I
6、II-1.信源熵区别：信源熵表征信源的平均不确定度；平均自信息量是消除信源不确定度所需要的信息的量度。15甲地提供的平均信息量大于乙地(1)甲地天气预报乙地天气预报求：两地天气预报各自提供的平均信息量?例2-7:16信源是一确定信源，所以不存在不确定性，信息熵等于零。(2)甲、乙地天气预报为两极端情况：limεlogε=017(3)甲、乙地天气预报为两极端情况：这种情况下,信源的不确定性最大,信息熵最大。甲地比乙地提供更多的信息量。因为甲地可能出现的消息数多于乙地可能出现的消息数。18定义：在给定yj条件下
7、，xi的条件自信息量为I(xi
8、yj),X集合的条件熵H(X
9、yj)为在给定Y(即各个yj)条件下，X集合的条件熵H(X
10、Y)III-2.条件熵19条件熵是在联合符号集合(X,Y)上的条件自信息量的联合概率加权统计平均值。条件熵H(X
11、Y)表示已知Y后，X的不确定度。相应地，在给定X(即各个xi)条件下，Y集合的条件熵H(Y
12、X)定义为III-2.条件熵20定义：联合符号集合(X,Y)上的每个元素对(xi,yj)的自信息量的概率加权统计平均值。-联合熵H(X,Y)表示X和Y同时发生的不确定度。III-3.联
13、合熵21H(XY)＝H(X)＋H(Y
14、X)H(XY)＝H(Y)＋H(X
15、Y)III-4.信源熵、条件熵、联合熵之间的关系22一个二进信源X发出符号集{0,1}，经过离散无记忆信道传输，信道输出用Y表示。由于信道中存在噪声，接收端除收到0和1的符号外，还有不确定符号“2”已知X的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：p(y0
16、x0)=3/4,p(y2
17、x0)=1/4p(y1
18、x1)=1/2
