信息论与编码教案

《信息论与编码教案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.3连续信源熵上一章我们讨论的为离散信源，实际应用中还有一类信源称为连续信源，这种信源的时间和取值都是连续的，例如语音信号，电视信号都是连续信号。▲时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个连续随机变量。而时间连续的信源，为一个随机过程，只要信号频谱有限，则可以根据采样定理，将其变为时间离散信源。▲信息论中只讨论单变量连续信源，即时间离散状态连续的连续信源。1连续信源的熵1-1连续信源熵的定义▲连续信源的状态概率用概率密度来表示。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则如果取值为有限实数域[a,b]，则这是X的概率分布函数为：▲连续信源的数

2、学模型X:R(或[a,b])P(X):p(x)▲连续信源熵的表达式利用离散信源熵的概念来定义连续信源熵，首先看一个再[a,b]取间的连续随机变量，如图：p(x)p(xi)△a0xibx首先把X的取值区间[a,b]分割为n个小区间，小区间宽度为：△=(b-a)/n根据概率分布为概率密度函数曲线的区间面积的关系，X取值为xi的概率为：Pi=p(xi).△这样可以得到离散信源Xn的信源空间为：[Xn,P]:Xn:x1x2…xnP(Xn):p(x1)△p(x2)△…p(xn)△且有：当n趋无穷时，按离散信源熵的定义：可得离散信源Xn的熵：37当△趋于0，n趋于无穷时，离散随机变量Xn将接

3、近于连续随机变量X，这时可以得到连续信源的熵为：其中：连续信源的熵定义为：▲连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大量。▲连续信源有无穷多个状态，因此根据SHANNON熵的定义必然为无穷大。▲连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。▲连续信源熵不具有非负性，可以为负值。尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，连续信道的输入输出都是连续变量，当分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。连续信源的疑义度：则平均交互信息量为：I(X,Y)=H(X)-H(X/

4、Y)1-2几种连续信源的熵(1)均匀分布的连续信源熵设一维连续随机变量X的取值区间是[a,b]，在[a,b]中的概率密度函数是这种连续信源称为均匀分布的连续信源。其熵为：这时可以看到：当(b-a)<1时，H(X)<0，即H(X)不具有熵函数的非负性，因为H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。(2)高斯分布的连续信源熵37设一维随机变量X的取值范围是整个实数R，概率密度函数为：其中，m是随机变量X的均值σ2是随机变量X的方差当均值m=0时，方差σ2就是随机变量的平均功率，这个信源称为高斯分布的连续信源，其数学模型为：这时可以得到高斯连续信源的熵为：这里的对数是以e

5、为底。当均值为0时，高斯信源的熵为(1)指数分布的连续信源熵设一随机变量X的取值取间为[0，∞]，其概率密度函数为则称为指数分布的连续信源。其中常数a为随机变量X的均值。即指数分布的连续信源的熵为372连续信源的最大熵2-1连续信源的最大熵为了求出连续信源的最大熵，将利用数学中的变分法的方法来求解。连续信源的熵为：其基本约束条件为：其它约束条件为：建立辅助函数：其中有：根据极值的条件有：及m个约束方程，可以确定最大熵和所对应的信源概率密度分布p(x)。下面讨论两种基本信源。（1）输出幅度受限时的最大熵（瞬时功率受限）其基本条件为：

6、x

7、≤v，x2≤S，这时对应只有一个约束方程，并

8、且：可以得到：这里的对数为以e为底，由约束方程可得：37结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数时，信源具有最大熵。其最大熵为：（1）输出平均功率受限时的最大熵推导：这时的约束条件为：可知：由极值条件：可得：logp(x)=λ1+λ2x2-1p(x)=eλ1-1eλ2x2将其代入约束条件1，可得：利用积分公式：可得：由：利用积分关系：可得：代入前面的结果：37得到：得到连续信源获得最大熵时的概率密度函数：这是一个均值为0的高斯分布。其最大熵为其中利用两个积分关系：如果平均功率为N=σ2;则有结论：（最大熵定理）对于输出平均功率受限的连续信源，

9、在假设状态相互独立时，当其概率密度函数为高斯分布时，具有最大熵。其最大熵值随功率N的增加而增加。2-2连续信源的熵功率▲对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，如果概率分布不是高斯分布，则信源熵将小于最大熵。熵功率则用来描述连续信源熵的剩余度。▲一个平均功率为N的非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率。▲当非高斯连续信源与高斯信源具有相同熵时，那非高斯信源的平均功率一定大于高斯信源的功率。▲当非高斯连续信源与高斯信源具有相同平均功率时，那