第4章_波形信源信道

《第4章_波形信源信道》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息论基础14-15学年第二学期春季DUT信息论基础第四章波形信源和波形信道DUT信息论基础本章内容提要4.1波形信源的统计特性和离散化4.2连续信源和信源的信息测度4.3具有最大熵的连续信源4.5熵功率4.6连续信道和波形信道的分类4.7连续信道和波形信道的信息传输率4.8连续信道和波形信道的信道容量DUT信息论基础34.1波形信源的统计特性和离散化实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源（模拟信源），其输出消息可以用随机

2、过程{x(t)}来表示。随机过程{x(t)}可以看成由一族时间函数{()}xt组成称为样本函数。每个i样本函数是随机过程的一个实现。（1）随机波形信源中消息数是无限的。（2）随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述。DUT信息论基础44.1波形信源的统计特性和离散化就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。对于随机过程来说，只要

3、是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列nnt时刻上的样本值x()来表征。因为随机过程的样本2F2Fn函数x(t)有无限多个，因此，取样后瞬间t的样本值是n2F一个随机变量。DUT信息论基础54.1波形信源的统计特性和离散化这样，通过取样，随即过程就成为可数的无限维的随机序列X(X,X,...,X,...)。12i2F2F2F如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的

4、取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。随机过程描述输出消息的信源称为随机波形信源。用连续随机变量描述输出消息的信源称为连续信源。DUT信息论基础64.2波形信源和波形信源的信息测度连续信源的差熵先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。dFx()dFy()变量的一维概率密度函数为pXY()x,px()dxdyx1Fx()PX[x]p()xdx一维概率分布函数为11

5、X条件概率密度函数为pXY

6、

7、(

8、),xypYX(

9、)yx联合概率密度函数为p(xy)2Fxy(,)xyXY111111DUT信息论基础74.2波形信源和波形信源的信息测度它们之间的关系为p()xypxp()(

10、)yxpyp()(

11、)xyXYXYX

12、

13、YXY基本连续信源的数学模型为RX并且pxdx()1px()R其中R是全实数集。DUT信息论基础84.2波形信源和波形信源的信息测度离散信源的熵：HX(n)px()log[()]ipxiipx()l

14、og()ipxipx()logiii这样的话：HX()limHX(n)limpx()log[()]ipxin0连续信源i的信息熵bpx()log()limlogpxa0舍弃无穷大的第二项，可得：连续信源的差熵定义连续信源的熵为：h(X)p(x)logp(x)dxRDUT信息论基础94.2波形信源和波形信源的信息测度同理可以定义两个连续变量X、Y的联合熵和条件熵hXY()pxy()log(pxydxdy)RhYX(

15、)pxpyx()(

16、

17、)log(

18、)pyxdxdyRhXY(

19、)pxpyx()(

20、)log(

21、)pxydxdyR连续平稳信源，N维联合熵，条件熵h(X)p(xxx)logp(xxx)dxdxdx12N12N12NRRh(X

22、XXX)p(xxx)logp(x

23、xxx)dxdxdxN12N1RR12NN12N112N波形信源的差熵h(x(t))limh(X)N对于限频、限时的平稳随机过程，可以用N=2FT的平稳随机序列来表示。DUT信息论基础104.2波形信源和波形信

24、源的信息测度当对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机矢量表示。这样，一个频带和时间都为有限的连续时间过程就转化为有限维时间离散的平稳随机序列了。和离散变量中一样，易于证明:hX()hX(X)hX()hX(

25、X)hX(

26、XX)hX(

27、XXX)12121312NN12且当随机序列中各变量统计独立时等式成立。hX()hXX(X)hX()hX()hX()12NN12DUT信息论基础114.2波形信源和波形信源的信息测度两种特殊连续信源的