图像处理第2章.ppt

《图像处理第2章.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章信源与信息熵信源描述与分类离散信源的信息熵和互信息离散序列信源的熵连续信源的熵与互信息冗余度12.1信源的描述与分类信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源信源的基本特性是具有随机不确定性22.1信源特性与分类分类时间离散连续幅度离散连续记忆有无三大类：单符号离散信源符号序列信源（有记忆和无记忆）连续信源32.1信源特性与分类离散无记忆序列信源布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球

2、。42.1信源特性与分类离散有记忆序列信源布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。52.1信源特性与分类马尔可夫信源当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。62.1信源描述与分类描述：通过概率空间描述单符号离散信源例如：对二进制数字与数据信源72.1信源描述与分类连续信源82.1信源描述与分类离散序列信源以3位PCM信源为例92.1信源描述与分类当p=1/2102.1信源描述与分类离散无记忆序列信源布袋摸球实验，若每次取出两个

3、球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。112.1信源描述与分类离散有记忆序列信源布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。122.1信源描述与分类马尔可夫信源当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。132.1信源描述与分类马尔可夫信源由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概

4、率表示p(xj/si),状态转移概率表示为p(sj/si)142.1信源描述与分类马尔可夫信源更一般，经过n-m步后转移至sj的概率152.1信源描述与分类马尔可夫信源特别关心n-m=1情况，pij(m,m+1)162.1信源描述与分类马尔可夫信源系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵，一步转移转移矩阵为172.1信源描述与分类马尔可夫信源k步转移概率pij(k)与l步和k-l步转移概率之间满足切普曼-柯尔莫郭洛夫方程。定义：如果从状态I转移到状态j的概率与m无关，则称这类MovKov链为齐次对于齐次马尔可夫链，一步

5、转移概率完全决定了k步转移概率。182.1信源描述与分类马尔可夫信源定义：若齐次马尔可夫链对一切I,j存在不依赖于I的极限，则称其具有遍历性，pj称为平稳分布192.1信源描述与分类马尔可夫信源定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj202.1信源描述与分类不可约性，对于任意一对I和j，都存在至少一个k，使pij(k)>0.非周期性，所有pij(n)>0的n中没有比1大的公因子。定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。212.1信源描述与分类Eg.

6、一个相对编码器，求平稳分布222.1信源描述与分类Eg.二阶马氏链，X{0,1},求平稳分布起始状态000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)232.2离散信源熵与互信息信息量自信息量联合自信息量条件自信息量单符号离散信源熵符号熵条件熵联合熵242.2离散信源熵与互信息信息不确定性的消除信息的度量随机性、概率相互独立符合事件概率相乘、信息相加熵事件集的平均不确定性252.2离散信源熵与互信息直观推导信息测度信息I应该是消息概率p的递降函数由两个不同的消息（相互统计

7、独立）所提供的信息等于它们分别提供信息之和（可加性）262.2离散信源熵与互信息定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为以2为底，单位为比特（bit)以e为底，单位为奈特（nat)1nat=1.433bit以10为底，单位为笛特（det)1det=3.322bit272.2离散信源熵与互信息定义：联合概率空间中任一联合事件的联合（自）信息量为：定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：282.2离散信源熵与互信息联合自信息、条件自信息与自信息间的关系292.2离散信源熵与互信息Eg1设在一正方

8、形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：（1）将方格按顺