单符号离散信源.ppt

《单符号离散信源.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第1章单符号离散信源单符号离散信源的数学模型（1.1）自信息和信源熵（1.2—1.3，1.7）熵的基本性质和定理（1.4—1.6）加权熵及其基本性质（1.8）单符号离散信源的数学模型信源可能输出的消息数是有限的或可数的，且每次只输出其中一个消息.用离散型随机变量X来描述这个信源输出的消息.随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集.当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定.所以，概率空间能表征这离散信源的统计特性，有时也称概率空间为信源空间.单符号离散信源的数学模型单符号离散信

2、源的数学模型：其中：第1章单符号离散信源单符号离散信源的数学模型（1.1）自信息量和信源熵（1.2—1.3，1.7）熵的基本性质和定理（1.4—1.6）加权熵及其基本性质（1.8）自信息量和信源熵自信息量：自信息量和信源熵自信息量：自信息量和信源熵自信息量公理性条件：自信息量和信源熵数学证明，满足上述公理性条件的函数为：自信息量的单位：自信息量和信源熵信源熵定义：信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为H(.)计算公式：单位：比特/符号（以2为底）熵函数的公理构成熵函数必须满足的三个公理条

3、件：信源某个符号的概率的微小变化，不会引起熵函数的巨大变化H(.)是pi的连续函数；信源等概分布时，H(.)是r的函数，且是单调增函数；熵函数满足递推性.即若∑qj=pr，则熵函数的公理构成（1）等概信源熵函数的公理构成熵函数的公理构成熵函数的公理构成熵函数的公理构成（2）一般非等概信源熵函数的公理构成假定概率pi(i=1,2,…,r)为有理数,则总可找到足够小的正数ε,有非等概信源转变为等概信源:熵函数的公理构成等概信源的熵函数:同时:自信息量和信源熵观察随机变量X、Y、ZH(X)=-0.01log0.01-0.99log0.99=0.08（比特/符号）H(Y)=-0.5log0

4、.5-0.5log0.5=1（比特/符号）H(Z)=5(-0.2log0.2)=2.32（比特/符号）自信息量和信源熵信源熵的物理含义：熵是随机变量的随机性的描述变量Y、Z等概，随机性大，变量X不等概，则随机性小等概情况下，可取值越多，随机性越大H（）是描述随机变量所需的比特数熵是随机变量平均不确定性的描述X试验中发生a1,获得的自信息为-log0.01=6.64(bit)Y试验中发生a1,获得的自信息为-log0.5=2.32(bit)H（）反映的是平均的不确定性自信息量和信源熵例：自信息量和信源熵第1章单符号离散信源单符号离散信源的数学模型（1.1）自信息和信源熵（1.2—1.3

5、，1.7）熵的基本性质和定理（1.4—1.6）加权熵及其基本性质（1.8）熵的基本性质和定理信息熵的代数性质信息熵的解析性质信息熵的最大值信息熵的代数性质(1)对称性信源的信息熵只与信源的概率空间的总体结构有关，与各概率分量和个信源符号的对应关系，乃至各信源符号本身无关.(2)非负性从总体上看，信源总存在一定的不确定性，总可提供一定的信息量.(3)确定性当信源任一符号以概率1出现，其它符号均不可能出现时，该信源为确知信源，不存在不确定性，不提供任何信息量.信息熵的代数性质(4)连续性信源空间中概率分量的微小波动，不会引起信源总体信息熵的巨大变化.(5)扩展性若信源空间中增加某些概率很

6、小的信源符号，虽然发出这些符号时能提供很大信息量，但其概率接近于零，以至总的信息熵维持不变.信息熵的代数性质(6)可加性两个统计独立的信源构成的联合信源的信息熵，等于各自信源熵之和.(7)递推性信息熵的代数性质(7)递推性若将含有r个符号的信源中的m(m

7、和凸函数熵函数的上凸性凸集和凸函数定义:若集合满足:则称S是Rn中的凸集.凸集S的几何解释:若S包含点x、y,则它包含了x与y的连线.凸集和凸函数定义:若是凸集.若函数f:Rn—>R满足:则称f是S是上的∩型凸函数.凸函数的几何解释:函数图象上的任意两点确定的弦在其图象的下方.熵函数的上凸性熵函数H(P)=H(p1,p2,…,pr)是概率矢量P的∩型凸函数.证明：信息熵的最大值最大离散熵定理均值受限的最大熵值最大离散熵定理在约束条件∑pi=1的约束下,求熵