信息论理论基础

《信息论理论基础》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础第2章基本信息论韩宇辉2021-8-91第2章基本信息论2.1信息度量2.2离散信源的熵2.3二元联合信源的共熵与条件熵2.4连续信源的熵2.5熵速率和信道容量2.6离散有噪声信道的熵速率和信道容量2.7连续有噪声信道的熵速率和信道容量2.8使信源与信道匹配的编码2021-8-922.1信息度量2021-8-932.1.1信息度量的必要性n通信的目的是为了传递信息。单位时间内信道所传递的信息量称为传信率，它是衡量通信系统性能的重要指标之一。为了得出通信系统的传信率，必须对消息或信源所含有的信息有一个数量上的度量方法这就是我们研究信息度量的目的。2021-8-942.1.2

2、信源的不确定性1.研究不确定性的目的【例】A.明天太阳将从东方升起。B.明天小张会给小王打电话。C.明天上午小张会给小王打电话。结论：(1)信源发出的消息状态应该存在某种程度的不确定性；(2)信息的多少与信源的不确定性有关。2021-8-952.不确定性的度量——不确定程度不确定程度可以直观理解为猜测某些随机事件的难易程度。【例】布袋中有100个小球，大小、重量、手感完全相同，但颜色不同。从布袋中任取一球，猜测其颜色。A.99个红球，1个白球；B.50个红球，50个白球；C.25个红球，25个白球，25个黑球，25个黄球。2021-8-96H(x)H(p,p,,p)12NX:

3、x,x12A:H(0.99,0.1)P(X):0.99,0.01X:x,x12H(0.5,0.5)B:P(X):0.5,0.5X:x,x,x,x1234C:H(0.25,0.25,0.25,0.25)P(X):0.25,0.25,0.25,0.25H(0.99,0.01)H(0.5,0.5)H(0.25,0.25,0.25,0.25)(1)不确定程度与信源概率空间有关；(2)若状态数相同，等概分布时不确定程度最大；(3)等概分布时，状态数越多则不确定程度越大。2021-8-973.不确定程度基本关系式——Hartley公式若信源X等概分布，则其不确定程度H(x)

4、与概率P满足：nP越大，则H(x)越小；n当P=1时，则H(x)=0；n当P=0时，则H(x)=∞；n信源不确定程度应具有可加性。若X与X’相互独立，则H(x,x’)=H(x)+H(x’)11H(xH)(lxo)gk-lloogPlog(2N.1()2.2)PP对数可以取2、e、10为底，相应不确定程度的单位分别为比特(bit)、奈特(nat)、哈特莱(Hartley)。2021-8-98不等概情况：n消息xi的不确定程度1H(x)logip(x)i2021-8-992.1.3信息量1.概率基本关系式(1)0p(x)，p(y)，p(y

5、x)，p(x

6、y)，p(x,y)

7、1ijjiijijNMN(2)p(xi)1,p(yj)1,p(xi

8、yj)1,i1j1i1MMNp(yj

9、xi)1,p(xi,yj)1j1j1i1NM(3)p(xi,yj)p(yj),p(xi,yj)p(xi)i1j12021-8-910(4)p(x,y)p(x)p(y

10、x)p(y)p(x

11、y)ijijijij(5)当X和Y相互独立时，p(xi,yj)p(xi)p(yj)p(y

12、x)p(y)，p(x

13、y)p(x)，jijijip(x,y)p(x,y)ijij(6)p(x

14、y)，p(y

15、x)ijnjimp(xi,yj)p

16、(xi,yj)i1j12021-8-9112.信息量的定义：收信者收到一个消息后，所获得的信息量等于不确定度的减少量。I=不确定度的减少量2021-8-9123.自信息量在没有噪声的情况下，信源发出xi接收者就会收到xi。这时接收者收到的信息量就等于xi本身含有的信息量，称为信源状态xi的自信息量，记为I(xi)。n收到xi前对xi的不确定程度：H(xi)n收到xi后对xi的不确定程度：0n自信息量1I(x)H(x)0log(2.7)iip(x)i2021-8-913【例】一次掷两个色子，作为一个离散信源，求下列消息的自信息量。a.仅有一个为3；b.至少有一个为4；c.两

17、个之和为偶数。解：p(a)=10/36=5/18p(b)=11/36p(c)=18/36=1/2I(a)=log(18/5)=1.848(bit)I(b)=log(36/11)=1.7105(bit)I(c)=log2=1(bit)2021-8-9144.互信息量：在有噪声信道下，假设信源发出的状态为xi，接收者收到的状态为yj。接收者收到yj后，从yj中获取到关于xi的信息量，就是信源发出xi后接收者收到的信息量，称为互信息量，记为I(xi,yj)。2021-8-9