信息论与编码2012-ch2 连续信源及其熵

《信息论与编码2012-ch2 连续信源及其熵》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、2021/9/11Thebestpreparationforgoodworktomorrowistodogoodworktoday.-ElbertHubbard2021/9/122.3连续信源2.3.1一些基本概念2.3.2连续信源的熵2.3.3几种特殊连续信源的熵2.3.4连续熵的性质2.3.5最大连续熵定理2.3.6熵功率2021/9/132.3.1一些基本概念(1)连续信源定义(2)随机过程及其分类(3)通信系统中的信号(4)平稳遍历的随机过程2021/9/14(1)连续信源定义连续信源：输出消息在时间和取值上都连续的信源。例子：语音、电视等。连续信源输出的消息是随机的，与随机过程{

2、x(t)}相对应。可用有限维概率密度函数描述。2021/9/15(2)随机过程及其分类①随机过程②随机过程的分类2021/9/16①随机过程随机过程定义：随机过程{x(t)}可以看成由一系列时间函数xi(t)所组成，其中i=1,2,3,…，并称xi(t)为样本函数。2021/9/17每个样本函数是随机过程的一个实现；每个样本函数不仅在时间上，而且在幅度取值上都是连续变化的波形。在某一固定的瞬时时刻t=ti，各个样本函数的取值，成为一个连续型的随机变量Xti；一般用n维概率密度函数族pn(x1,x2,…,xn,t1,t2,…,tn)来描述随机过程的统计特性，n越大，描述越完善；2021/9/

3、18连续型信源特点消息数是无限的。输出的每个可能的消息是随机过程{x(t)}中的一个样本函数。对于样本函数来说，它是时间t的连续函数，时间的取值为不可数的无限多个。另外，当固定某一瞬时t=tk时，信源的输出是一个随机变量X，X的取值又是连续的，为不可数的无限多个值。因此连续信源可能有的消息数为无限多个。连续型信源，可用有限维概率密度函数族以及各维概率密度函数有关的统计量来描述。2021/9/19②随机过程的分类分类：根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。平稳随机过程：统计特性/各维概率密度函数不随时间平移而变化。非平稳随机过程：统计特性随时间平移而变化。2021/9/

4、110(3)通信系统中的信号一般认为，通信系统中的信号都是平稳的随机过程。虽然在无线通信系统中，受衰落干扰的无线电信号属于非平稳随机过程，但在正常通信条件下，都可近似地当做平稳随机过程或分段平稳的随机过程来处理。2021/9/111(4)平稳遍历的随机过程随机过程{x(t)}中某一样本函数x(t)的时间平均值定义：随机过程{x(t)}在某时刻ti所取的随机变量的统计平均值/集平均定义：遍历的随机过程：时间平均与统计平均相等，即2021/9/1122.3.2连续信源的熵(1)计算连续信源熵的两种方法(2)连续信源的种类(3)连续信源的数学描述(4)连续信源的熵(5)连续信源的联合熵2021/

5、9/113(1)计算连续信源熵的两种方法计算连续信源一般有两种方法。第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位Δx趋近于零的情况来定义和计算连续信源熵。2021/9/114(2)连续信源的种类与单符号和多符号离散信源类似，连续信源也分为单变量和多变量。多变量连续信源属于有记忆信源，直接计算有记忆连续信源的熵十分困难。一般处理方法是采用某种变换把有记忆信源变成无记忆信源，然后再计算信源熵。由于多变量的情况比较复杂，限于学时，我们只对

6、单变量连续信源的信息测度进行讨论。2021/9/115(3)连续信源的数学描述单变量连续信源的输出是取值连续的随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度描述。①一维概率密度函数②条件概率密度和联合概率密度函数2021/9/116①一维概率密度函数随机变量X的一维概率密度函数/边缘概率密度函数为2021/9/117②条件概率密度和联合概率密度函数条件概率密度函数联合概率密度函数它们之间的关系为边缘概率密度函数满足因为概率密度函数是不同的函数，所以用脚标来加以区分，以免混淆。为了简化书写，往往省去脚标，但在使用时要注意。2021/9/118(4)连续信源的熵①单变量连续信

7、源数学模型②连续信源的熵③举例④连续信源熵的意义2021/9/119①单变量连续信源数学模型单变量连续信源数学模型R是连续变量X的取值范围。先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。2021/9/120设p(x)如图2.3.1所示。把连续随机变量X的取值分割成n个小区间，各小区间等宽，即Δ=(b-