《连续信源的熵》PPT课件

《《连续信源的熵》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源熵本章主要内容2.1单符号离散信源2.2多符号离散平稳信源及熵2.3连续信源及熵22.3连续信源及熵连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率32.2连续信源及熵连续信源def：输出消息在时间和幅度/取值都连续的信源。如：语音信号、电视图像。连续信源输出的消息：用随机过程X(t)表示，具体用概率密度函数描述。42.3连续信源及熵连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率5连续信源的熵连续信源的熵(Hc)相对熵：可正可负可有限可无限绝对熵：无限值因为信源输出符号或波形在幅度变

2、化上是无限的，要精确表示每一个符号或抽样样点必须用无穷多bit数才行。设连续信源X概率密度函数p(x)则相对熵为：continuous6连续信源的相对熵例：X服从均匀分布，求信源熵。解：7连续信源的相对熵联合熵/共熵X、Y定义在同一样本空间，联合概率密度函数为p(xy),则条件熵平均互信息82.3连续信源及熵连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率9几种特殊连续信源的熵均匀分布的连续信源的熵X在[a,b]上均匀分布，其熵为服从（m,б2）高斯分布的连续信源的熵概率密度函数为正态分布，即，其熵为10几种特殊连续信源的熵高斯

3、分布的连续信源的熵：说明:高斯连续信源的熵与数学期望无关，只与方差有关11几种特殊连续信源的熵指数分布的连续信源的熵,其熵为说明：指数分布的连续信源的熵只取决于均值。122.3连续信源及熵连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率13连续熵的性质连续熵可正可负可加性扩展到N个变量：14连续熵的性质平均互信息的非负性证明：15连续熵的性质定理：对于概率密度函数p(x),q(x)，只要两边为有限值，则证明：利用移项，得162.3连续信源及熵连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率17最

4、大连续熵定理限峰值功率的最大熵定理：若X的取值被限制在一定范围内，则在有限的定义域内，均匀分布的连续信源熵具有最大值。限平均功率的最大熵定理：若信源输出信号的平均功率P(当均值m=0时，P=。)和均值m被限定，则输出信号幅度的概率密度函数为高斯分布时的连续信源的熵具有最大值。均值受限条件下的最大熵定理：若连续信源X输出非负信号的均值受限，则输出信号的幅度呈指数分布时的熵为最大值。182.3连续信源及熵连续信源的基本概念连续信源的熵几种特殊连续信源的熵连续熵的性质最大连续熵定理熵功率19熵功率对限平均功率的最大熵定理进行推广：熵功率：与平均功率P的非高斯信源达到同

5、样熵的高斯信源所需的平均功率。说明：非高斯信源是功率有剩余信源。20ThankYou!