北邮通信原理PPT第15讲课件.ppt

《北邮通信原理PPT第15讲课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第七章信源与信源编码一、信源的分类及其统计特性信源：信源是产生信息的源头信道：传送载荷信息的信号所通过的通道信源与信宿之间的通信是通过信道来实现的度量通信的技术性能包括通信的数量与质量两方面：1）一般数量指标用有效性度量，与信源统计特性有关；2）质量指标用可靠性度量，主要取决于信道的统计特性信源从消息的表现形式上可以分为离散信源和连续信源1）离散信源：文字、电报等；单消息离散信源：2）连续信源：声音、图像单消息离散信源：其中p(x)表示具体取连续值x的概率密度在实际中，消息多为连续的模拟消息：比如声音、图像长度为L个符号的消息序列信源的取值集合X

2、L则此长度为L的离散信源可用一个长为L的随机矢量表示用随机过程X(t)描述由多个单消息组成，其中每个符号可随机取值形成随机序列在一串时间点上对X(t)取值，形成一串离散序列当消息序列中每个消息符号Xi以概率P(xi)取随机值xi时，随机矢量X取得一个随机样值，表示为：随机矢量X取的样值x的概率表示为一个L维的联合概率：则对于离散消息序列信源可表示为：二、信息熵信号、消息和信息之间的关系：对于信息而言：1）最大的特征：不确定性例如：a)明天有雨；b)明天多云2）采用概率的方法进行度量—度量信息的随机性3）随机性越强，蕴含的信息量越大；随机性越弱，蕴

3、含的信息量越小信息论的主要内容之一就是如何度量信息的随机性对于单信息，当X以概率P(xi)取值xi时，其信息量记为：则单消息信源的信息熵记为：即：取信息量的统计平均值1）单消息离散信源的自信息量若单消息X，它以极小的概率P(xi)取值xi，随机性强，则产生的信息量大，反之产生的信息量则小，那么：当P(xi)增大，I[P(xi)]减小；当P(xi)减小，I[P(xi)]增大即X=xi所产生的信息量是其所对应概率的递减函数自信息量满足可加性：若两个单消息X，Y相互独立，则分别以概率P(xi)和P(yi)取xi和yi时所产生的信息量，应为二者之和：2）

4、两个单消息离散信源的联合自信息量若两个单消息X，Y有统计关联时，条件自信息量和两个消息的联合自信息量分别计算如下：在知道了消息X的前提下，消息Y的信息量消息X和消息Y共同带来的信息量香农将信源输出一个符号所含的平均信息量H(X)定义为信源的信息熵，用于描述信源的平均不确定性，其计算公式如下：熵的单位取决于对数的底：1）若公式中的对数以2为底时，熵的单位为比特（bit）；2）若公式中的对数以e为底时，熵的单位为奈特（Nat）；3）若公式中的对数以10为底时，熵的单位为笛特（Det）三者之间的关系：信源输出的消息具有多种可能性，信息的熵可理解为这信源

5、所输出的具有多种可能性的消息的平均信息量联合熵与条件熵的计算：这三者之间的关系：在已知一个符号的前提下，另一个符号所产生的信息熵两个符号共同产生的信息熵两个符号先后到达，这时两个符号所带来的信息熵=某个符号带来的信息熵+在已知这个符号的前提下另一个符号所带来的信息熵一个符号在没有任何前兆时带来的信息量肯定大于等于有前兆时所带来的信息量。若两个符号相互独立，则等号成立，否则大于号成立信源冗余度：假设某个信源X可以输出L个符号X1、X2…XL，这L个符号之间存在记忆，即相互关联，则信源熵可表示为：定义消息序列信源平均每发出一个符号所含的信息熵：当L→

6、∞时，则下式成立：则多余的信息量为：信源的效率：信源的冗余度：信源的冗余度表明信源所发出的信息有多余分量，若不进行处理，在进行传送时，会占用信道资源，导致信道利用率的降低信源的效率越低则冗余度越大三、互信息信源输出的平均信息量被接收端收到后的信息量称为互信息：I(X,Y)H(X)表示X所包含的平均信息量，H(X

7、Y)表示在已知Y的条件下X带来的信息量。两者之差就是由于知道Y使得X减少的信息量各种熵之间的关系：四、无失真离散信源编码定理信源编码：1）离散信源输出的是各种离散消息和符号；2）模拟信源输出的是连续的模拟信号；3）为了能将离散消息和符号在

8、信道上传输，必须将这些消息和符号进行数字化，即进行信源编码信源编码的两点要求：1）信息速率要小；2）接收端能够译码并从编码序列中恢复出原始信息保证无失真的编译码两种编码方法：1）等长编码：编码器输出的所有码字长度相同2）不等长编码：编码输出的码字长度不同这个编码器的要求：1）无失真：2）有效性：若要保证完全意义上的无失真，即：对于等概离散信源可以采用等长编码方法对于不等概的离散信源：1）无需对每一个消息序列进行编码；2）只考虑大概率的消息序列3）小概率的消息序列不进行编码因此在这个条件小不能满足完全意义的无失真，此时的无失真是指近似的无失真当不等

9、概时，将消息序列集合按照概率大小分为两部分：大概率消息序列集合小概率消息序列集合集合以近似于概率1出现对于编码器的无失真要求：因此只要编