信息论第二讲-离散信源的熵

《信息论第二讲-离散信源的熵》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、⑴离散信源特性：根据Shannon信息论的观点，信源要含有一定的信息，必然具有随机性，即有不确定性，可以用其概率来表示。2、离散信源的熵2.1离散信源的数学模型2.1.1单符号离散信源的数学模型7/29/20211⑵离散信源空间：信源的符号（状态）随机地取值于一个离散集合[X]=（x1,x2,…xn）中，一个离散信源可以用一个离散随机变量的概率空间表示。[P]=(p1,p2,…pn)这种表示称为离散无记忆信源的信源空间。信源空间必为一个完备空间，即其概率和为1。7/29/20212⑶信源数学模型描述的条件：用信源空间（离散随机变量）来表示信源的条件是信源符号（状态）的先验概率是可知的，

2、这是Shannon信息论的一个基本假说。7/29/20213信息的理解1只有信息的概念没有信息的定义；2山农信息论认为：“正如熵表示分子无组织程度的度量一样，离散信源中所包含的信息就是信源符号不确定程性的度量”。组织程度的度量；有序程度的度量；用以减少不确定性的东西；3还有其它的描述：信息就是使概率分布发生变化的东西；信息是反映事物的形式、关系和差异的东西，信息包含在事物的差异之中，而不在事物本身。7/29/20214⑴不确定性：只有不确定性存在，才有信息存在，获得消息后消除了不确定性才得到信息。在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。⑵不

3、确定性的度量（不确定度）：不确定度应该等于猜测某一随机事件是否会发生的难易程度。2.1.2信源符号不确定性的度量(uncertainty)7/29/20215⑶Hartly公式：信源不确定度的大小与信源的消息符号数有关；符号数越多，不确定度越大；信源不确定度的大小与信源的消息符号概率有关；概率越小，不确定度越大；信源不确定度应具有可加性；同时应当满足：如果p(xi)=0，则I(xi)=∞，如果p(xi)=1，则I(xi)=0。因此为了满足以上四个条件，应把信源不确定度写为对数形式：7/29/20216⑴自信息量的定义：收信者收到一个消息状态得到的信息量，等于收到后对这个消息状态不确定度

4、的减少量。I（信息量）=不确定度的减少量。2.1.3信源符号的自信息量7/29/20217⑵无噪声信道下的自信息量：在假设信道没有干扰（无噪声）的情况下，信源发出信源状态xi，接收者就会收到xi，这时接收者收到的信息量就等于信源状态xi本身含有的信息量（不确定度），称为信源状态xi的自信息量，记为I(xi)。这时，接收到xi所获得的信息量等于信源输出发出的信息量。7/29/20218⑶有噪声信道下的互信息量：在有噪声信道下，信源发出的状态为xi，接收者收到的状态为yj，接收者收到yj后，从yj中获取到关于xi的信息量，就是信源发出xi后，接收者收到的信息量，称为互信息量。记为I(xi,

5、yj)。接收到yj后，信源实际发出xi时接收者所获得的信息量。由于噪声的干扰，接收者收到的信息量小于信源发出的信息量。7/29/20219H(xi)为信源状态xi本身具有的不确定性；H(xi/yj)为接收到一个yj后，信源状态xi仍存在的不确定度；收到yj后，信源状态xi的不确定性应有所变化，这个变化量就称为信源状态xi的互信息量。这个互信息量在什么条件下为大于零？等于零？小于零？7/29/202110（1）信源熵的定义：信源一个消息状态所具有的平均信息量。离散无记忆信源的熵（独立熵）：2.2单符号离散信源的熵2.2.1信源熵的概念(Entropy)H(X)表示信源发出任何一个消息状态

6、所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。7/29/202111（2）熵的物理意义：熵的本意为热力学中表示分子状态的紊乱程度；信息论中熵表示信源中消息状态的不确定度；（3）信源熵与信息量有不同的意义；H(X)表示信源X每一个状态所能提供的平均信息量；H(X)表示信源X在没有发出符号以前，接收者对信源的平均不确定度；H(X)表示随机变量X的随机性；7/29/202112熵函数可以表示为：2.2.2熵函数的性质性质1：非负性；H(X)≥0性质2：对称性；性质3：确定性；7/29/202113性质4：连续性；性质5：扩展性；2.2.3离散信源的最大熵

7、（一）一般离散信源的最大熵在数学上可以证明熵函数存在最大值，离散信源的熵函数有n个变量，有一个约束条件，作一个辅助函数：7/29/202114Hmax(X)=H(1/n,1/n,……,1/n)=logn这个结果称为离散信源得最大熵定理。它表明，在所有符号数相同，而概率分布不同的离散信源中，当先验概率相等时得到的熵最大。最大熵的值取决于符号状态数，状态数越多，熵越大。7/29/202115这时可求得离散信源得最大熵为（二）均值受限的离散信源的最大