第2章 信源与信息熵(1).ppt

《第2章 信源与信息熵(1).ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、上节内容回顾1.信息的基本概念：信息是事物运动状态或存在方式的不确定性描述。2.通信系统的基本模型主要内容：上节内容回顾信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥上节内容回顾有效性可靠性安全性信源编码提高降低无影响（低）信道编码降低提高无影响（低）加密编码降低降低提高信源编码、信道编码和加密编码的对比第2章信源与信息熵信源的描述与分类离散信源熵和互信息离散序列信源熵（难点）连续信源熵和互信息冗余度主要内容：重点2.1信源的描述与分类信源指产生信息的人或机器，本课程对信源的研究主要是其输出的信息，信息的数学描述和性质。信息的基本特性是不确定性，

2、即随机性。一、信源的描述用随机变量、随机序列或随机过程描述信源输出。用概率论和数学统计的方法描述信源输出。用样本空间和概率分布来描述信源输出。2.1信源的描述与分类二、信源的分类（1）按照信源发出的信息在时间和幅度上的分布情况：离散信源：时间和幅度上都离散连续信源：时间和幅度上都连续例子？2.1信源的描述与分类离散信源的统计特性1、组成离散消息的信息源符号是有限的。2、在形成消息时，各符号的概率不同。3、组成消息的基本符号之间有一定的统计特性。2.1信源的描述与分类二、信源的分类按照信源发出的各符号之间的关系：发出符号序列的有记忆信源发出符号序列的马尔可夫信源信源无记忆信源

3、有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源2.1信源的描述与分类三、无记忆信源定义：信源所发出的各个符号间相互独立——各符号之间没有统计规律，各符号出现的概率是自身的先验概率。抛硬币扔骰子黑箱摸球分类：发出单个符号的信源：信源每次发出一个符号代表一个消息发出符号序列的信源：发出两个以上符号序列代表一个消息2.1信源的描述与分类三、无记忆信源发出单个符号的信源定义：信源每次发出一个符号代表一个消息描述方法：采用概率空间的方法进行描述例：抛硬币、扔骰子2.1信源的描述与分类例：抛硬币，用随机变量X表示其输出，则：样本空间：概率分布：概率空间：2.1信源的描述与分

4、类例：扔骰子，用随机变量X表示其输出，则：样本空间：概率分布：概率空间：2.1信源的描述与分类一般情况样本空间：概率分布：概率空间：2.1信源的描述与分类例：一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，则随机事件的概率空间为2.1信源的描述与分类三、无记忆信源发出符号序列的信源定义：信源每次两个以上的符号序列代表一个消息描述方法：采用概率空间的方法进行描述例：扔骰子2.1信源的描述与分类例：扔骰子，用随机变量X表示其输出，则：样本空间：概率分布：概率空间：2.1信源的描述与分类一般情况随机序列：其中：L表示序列长度xl：有n中取值

5、随机序列X的样值有多少个？联合概率：若各个符号间相互独立a1a2……an2.1信源的描述与分类随机序列：其中：L表示序列长度xl：有n中取值若：（1）L=2（2）xl有n中取值：a1a2……an其概率空间为：2.1信源的描述与分类四、有记忆信源发出符号序列的信源定义：信源发出的各个符号间是有关联的。描述方法：采用概率空间的方法进行描述条件概率！！2.1信源的描述与分类四、有记忆信源符号序列：概率：表达的复杂度随着序列的增加而增加。2.1信源的描述与分类四、有记忆信源实际上，信源发出的符号往往只与前面若干个符号有较强的依赖关系，随着序列长度的增加依赖关系越来越弱，因此可根据信

6、源的特性和处理时的要求限制记忆长度，使分析和处理简化。注意2.1信源的描述与分类五、马尔可夫信源定义：信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的有限个符号有关。若把有限个符号记作一个状态S，则信源发出某一符号概率除与该符号有关外，只与该时刻信源所处的状态有关。比如：什么叫马尔可夫信源？2.1信源的描述与分类m阶马尔可夫信源定义：信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的m个符号有关。什么叫m阶马尔可夫信源？如：m=3时2.1信源的描述与分类m阶马尔可夫信源定义：信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的m个符号有关。条件概率：

7、联合概率：2.1信源的描述与分类一阶马尔可夫信源定义：信源在某一时刻发出的符号概率除了与该符号有关外，只与此前的1个符号有关。条件概率：联合概率：2.1信源的描述与分类一阶马尔可夫信源联合概率：2.1信源的描述与分类马尔可夫信源的状态变量分析对于m阶的马尔可夫信源，某一时刻i时刻以前出现的m个符号组成的序列：其中：将记作状态即则：共有种可能取值。即：状态集符号序列状态序列2.1信源的描述与分类马尔可夫信源的状态变量分析将符号序列转换成状态序列后，对符号的分析也就变成了对状态的分析，主要研究状态转移概率。1、状态转移