信息论与编码第2章信源与信息熵.ppt

《信息论与编码第2章信源与信息熵.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源与信息熵信源描述与分类离散信源的信息熵和互信息离散序列信源的熵连续信源的熵与互信息冗余度10/6/20211概率论知识复习基本事件：随机试验的每一个可能的结果（样本点）。样本空间：基本事件的集合。复杂事件：多个基本事件所组成的事件。随机事件：无论基本事件还是复杂事件，它们在试验中发生与否，都带有随机性。相关知识复习10/6/20212事件域：基本事件和复杂事件是样本空间的子集，所有子集的全体。概率空间：三要素—样本空间、事件域(集合)、概率。事件A的概率：A中样本点数与样本空间中样本点之比。先验概

2、率：根据以往的统计规律得到的。相关知识复习10/6/20213必须掌握的概率论知识1）条件概率2）联合概率相关知识复习10/6/202143)全概率：设B1,B2,…是一列互不相容的事件(BiBj=0），且有B1∪B2∪…=Ω（样本空间）；P(Bi)＞0,i=1，2…，则对任一事件A，有：相关知识复习10/6/202154)贝叶斯(Bayes)公式:设B1,B2,…是一列互不相容的事件(BiBj=0），且有B1∪B2∪…=Ω（样本空间）；p(Bi)＞0，i=1，2，…，则对任一事件A，有：相关知识复习10/

3、6/202162.1信源的描述与分类信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源信源的基本特性是具有随机不确定性10/6/202172.1信源特性与分类分类时间离散连续幅度离散连续记忆有无三大类：单符号离散信源符号序列信源（有记忆和无记忆）连续信源10/6/202182.1信源特性与分类离散无记忆序列信源布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。10

4、/6/202192.1信源特性与分类离散有记忆序列信源布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。10/6/2021102.1信源特性与分类马尔可夫信源当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。10/6/2021112.1信源描述与分类描述：通过概率空间描述一单符号离散信源例如：对二进制数字与数据信源10/6/2021122.1信源描述与分类二.连续信源10/6/2021132.1信源描述

5、与分类1-1离散序列信源以3位PCM信源为例10/6/2021142.1信源描述与分类当p=1/210/6/2021152.1信源描述与分类马尔可夫信源当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。10/6/2021162.1信源描述与分类2.马尔可夫信源由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si)10/6/

6、2021172.1信源描述与分类马尔可夫信源更一般，经过n-m步后转移至sj的概率10/6/2021182.1信源描述与分类马尔可夫信源特别关心n-m=1情况，pij(m,m+1)10/6/2021192.1信源描述与分类马尔可夫信源系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵，一步转移转移矩阵为10/6/2021202.1信源描述与分类马尔可夫信源k步转移概率pij(k)与l步和k-l步转移概率之间满足切普曼-柯尔莫郭洛夫方程。定义：如果从状态I转移到状态j的概率与m无关，则称

7、这类MovKov链为齐次对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。10/6/2021212.1信源描述与分类马尔可夫信源定义：若齐次马尔可夫链对一切I,j存在不依赖于I的极限，则称其具有遍历性，pj称为平稳分布10/6/2021222.1信源描述与分类马尔可夫信源定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj10/6/2021232.1信源描述与分类不可约性，对于任意一对I和j，都存在至少一个k，使pij(k)>0.非周期性，所有pij(n)>0的n中没有比1大的公因子。定理

8、：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。10/6/2021242马尔可夫信源离散信源中有一类特殊的信源，其信源输出的符号序列中符号之间的依赖关系是有限的，并且满足马尔可夫链的性质，因此可用马尔可夫链来处理。任何时刻信源符号发生的概率只与前面已经发生过的若干个符号有关，而与更前面的符号无关。2.1马尔可夫信源的定义【定义】若离散平稳信源在某