《离散信源》PPT课件

《《离散信源》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、本章需要掌握的内容：信源的分类离散平稳无记忆信源及扩展信源的特点和信息√离散平稳有记忆信源的特点和信息马尔可夫信源的特点和信息√信源的相关性和剩余度√第三章离散信源及其信息测度信息论对信源研究的主要内容由以下几个方面组成：（1）信源的建模（2）信源输出信号中携带信息量大小的计算（3）信源输出的有效表示一、信源信宿信源发送器信道接收器消息信号发送信号接收消息噪声第一节信源的数学模型及分类信源输出随机变量X，可能的取值二、信源的数学模型信息的来源——信源1.按信源发出的消息在时间上的分布划分：有限长记忆信源(

2、马尔可夫信源）有记忆平稳信源三.信源分类离散信源2.按信源发出的前后消息是否有关划分：连续信源无记忆信源有记忆信源例题（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用个像素和10个不同亮度的电平，设每秒传递30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现,求传递此图像所需的信息率（比特/秒）（2）设某彩电系统，除了满足对黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率大约是黑白系统的传输信息率的2.5倍。一.离散无记忆信源1.概念信源先后发出的一

3、个个消息符号彼此独立。2.数学模型信源输出随机变量X，可能的取值第二节离散无记忆信源及其扩展信源3.信源输出的信息量1.求N次扩展信源首先看输出只有两个符号（0，1）的情况：一次信源X信源X=X1数学模型为:二.离散无记忆信源的扩展信源二次信源扩展信源每个消息序列的概率：三次扩展信源扩展信源每个消息序列的概率：依次推出N次扩展信源一次信源输出符号集为进一步推广：N次扩展信源2、N次扩展信源的熵例3-1:例3-2：（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用个像素和10个不同亮度的电平，

4、设每秒要传递30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现.求传递此图像所需的信息率（比特/秒）.（2）设某彩电系统，除了满足对黑白电视系统的上述要求外，还须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统信息率的2.5倍。解：（1）每个象素亮度信源的概率空间为：每个象素亮度含有的信息量为：H(X)=log10=1哈特来/象素=3.32比特/象素每帧图像含有的信息量为：设每秒传送30帧图像，则传递此图像所需的信息率为：（2）证明：色彩度信源的概率空间为:每个象素色彩度含有的信息量

5、为：H(Y)=log30=4.91比特/象素亮度和色彩度同时出现，每个象素含有的信息量为：H(XY)=H(X)+H(Y)=log10+log30=8.23比特/象素传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每象素含有的信息量与黑白系统每象素含有信息量之比，即：H(XY)/H(X)=2.5则证明传输这彩色系统的信息率是传输黑白系统的信息率的2.5倍。例3-3：每帧电视图像可以认为是由个象素组成的，所以象素都是独立变化的。且每一个象素又取128个不同的亮度电平，并设亮度电平等概率出现。若现

6、有一个广播员在约10000个汉字的字集中选1000个字来口述此电视图像（设每个字是等概率分布的，并且彼此独立的）。试问广播员描述此图像所广播的信息量是多少？若要恰当描述此图像，广播员在口述中至少需用多少汉字？解：（1）分析可知汉字字集是等概率分布的，则汉字字集信源为得该汉字字集中每个汉字含有的信息量为：H(Y)=log10000=13.29比特/字广播员描述此帧图像所广播的信息量为：（2）分析可知每个象素的亮度信源为每个象素亮度含有的信息量为：H(X)=log128=7比特/象素每帧图像含有的信息量为：广

7、播员口述此图像至少需用的汉字数为：例3-4：对一最高频率分量为4kHz的模拟信号以奈奎斯特采样定理采样，已知抽样结果是一个独立的平稳随机序列。现将每个抽样值量化为5个离散电平之一，已知这5个电平构成的符号集{X}的概率特性为求这个离散信源每秒传送的平均信息量。解：由题意可知采样率为8kHz，则符号速率是8000个符号/s。每个符号的平均信息量为则这个离散信源每秒传送的平均信息量为——信源发出的符号序列的概率分布与时间起点没有关系,但发出的符号之间有依赖关系。第三节离散平稳有记忆信源一.平稳有记忆信源概念源

8、，简称平稳信源。如果信源发出的是N长序列，且这个N维联合分布与时间起点无关，则称为N维平稳信二.离散平稳信源的熵最简单的有记忆（N=2）平稳信源的概率空间：熵H(X)可用联合熵表示：条件熵为可知：平稳信源输出一个符号αi，则对输出下一个符号有影响，这个影响根据αi而异。依赖关系越强，对输出下一个符号的影响越大。联合熵可表示离散平稳信源的熵由可知：信源联合熵等于信源发出前一个符号的信息熵加上前一个符号已知时信源发出下一个符号的条