北邮-田宝玉-信息论基础-第三章.ppt

《北邮-田宝玉-信息论基础-第三章.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三章离散信源北京邮电大学信息工程学院▲离散信源的分类与数学模型▲离散无记忆信源的熵▲离散平稳信源的熵▲有限状态马尔可夫链▲马尔可夫信源▲信源的相关性与剩余度本章内容3.1离散信源的分类与数学模型▲信源离散信源的分类▲离散信源的数学模型3.1.1离散信源的分类▲根据信源符号取值→连续/离散▲根据输入符号间的依赖关系→无记忆/有记忆▲有限离散信源/无限离散信源▲平稳信源/非平稳信源3.1.2离散无记忆信源的数学模型注释A={a1，…，an}→信源的符号集n→符号集的大小ai→随机变量的取值p(ai)→X=ai的概率。▲单符号离散无记忆信源的数学模型：3.1.1一个二

2、元无记忆信源，符号集A={0,1},p为X=0的概率,q为X=1的概率，q=1-p；写出信源的模型。解：信源的模型：例单符号离散无记忆信源▲多维离散无记忆信源数学模型:3.1.2离散无记忆信源的数学模型▲信源X的N次扩展源：设信源为X，由X构成的N维随机矢量集合▲信源与其扩展源的关系：离散无记忆信源的N次扩展源N个连续输出的符号合并3.1.2求例3.1.1中信源的二次扩展模型。解：①二元信源X的符号集为{0,1}②例离散无记忆信源的N次扩展源▲马氏链是随机过程，因此可看成信源，即马尔可夫信源；这种信源是有记忆信源。▲有限记忆的系统可以用有限状态机来描述。在有限状态机中，既

3、包含状态之间的转移关系，也包含输出与状态之间的关系。▲可以从有限状态机的概念出发定义马尔可夫信源。3.1.3离散有记忆信源的数学模型离散马尔可夫信源3.2离散无记忆信源的熵▲单符号离散无记忆信源的熵▲离散无记忆信源N次扩展源的熵3.2.13.2.1单符号离散无记忆信源的熵写出例3.1.1中的二元无记忆信源的熵的表达式。解：例▲具有熵的一切性质▲对p的导函数为▲p=0.5时,H(p)达到最大值1bit▲H(p)是p的上突函数0.5110pH(p)的主要性质：3.2.1单符号离散无记忆信源的熵3.2.2离散无记忆信源N次扩展源的熵定理3.2.1离散无记忆信源X的N次扩展源的熵

4、等于信源X熵的N倍，即证明：熵的可加性①②3.2.2给定离散无记忆信源模型：求其二次扩展源熵。解：例3.2.2离散无记忆信源N次扩展源的熵3.3离散平稳信源的熵▲离散平稳信源▲离散平稳有记忆信源的熵▲信源X具有有限符号集▲信源产生随机序列▲对所有有3.3.1离散平稳信源(1)定义：则称信源为离散平稳信源，所产生的序列为平稳序列▲平稳序列的统计特性与时间的推移无关3.3.1离散平稳信源(2)3.3.1一平稳信源X的符号集A={0，1}，产生随机序列，其中P(x1=0)=p,求P(xn=1)（n>1）的概率。解：例平稳性3.3.1离散平稳信源(3)3.3.1续对同一信源，若P

5、(x1=0，x2=1)=b求P(x4=1/x3=0)。解：例平稳性3.3.1离散平稳信源(4)▲对于平稳信源，条件概率也是平稳的。一般地，有▲平稳信源的熵与时间起点无关，即3.3.1离散平稳信源(5)▲根据平稳性和熵的不增原理▲对于X的N次扩展源,定义平均符号熵为：3.3.2离散平稳有记忆信源的熵(1)▲信源X的极限符号熵：简称：符号熵/熵率3.3.2离散平稳有记忆信源的熵(2)1）不随N而增加2）3）不随N而增加4）存在，且说明：有记忆信源的符号也可通过计算极限条件熵得到定理3.3.1：任意离散平稳信源，若3.3.2离散平稳有记忆信源的熵(3)1）信源的平稳性熵的不增原

6、理这说明对于平稳信源，条件越多，条件熵越不增加3.3.2离散平稳有记忆信源的熵(4)2）只要证明N个的和不小于平均符号熵不小于条件熵3.3.2离散平稳有记忆信源的熵(5)3）由于平均符号熵不随序列的长度而增加根据平均符号熵的定义和2）的结果，有3.3.2离散平稳有记忆信源的熵(6)4）通过以上证明可得，3.3.2离散平稳有记忆信源的熵(7)先令，后令，得另外，由（2）的结果，当时,有所以证毕。3.3.2离散平稳有记忆信源的熵(8)▲该定理提供了通过计算极限条件熵得到信源符号熵的方法；这样，当信源为有限记忆时，极限条件熵的计算要比极限平均符号熵的计算容易得多。▲极限熵等于最

7、小的平均符号熵。定理3.3.1的注释：3.3.2离散平稳有记忆信源的熵(9)▲马氏链的基本概念▲齐次马氏链▲马氏链状态分类▲马氏链的平稳分布3.4有限状态马尔可夫链▲随机序列▲每个随机变量仅依赖于定义：3.4.1马氏链的基本概念(1)▲随机变量：马氏链在n时刻的状态▲：状态▲的集合S：状态集合1)一阶马氏链的当前状态只与前一个状态有关2)n阶马氏链的当前状态只与前n个状态有关3)马氏链是时间离散，状态也离散的随机过程4)状态集合为有限集有限状态马氏链状态集合为无限集无穷状态马氏链3.4.1马氏链的基本概念(2)▲描述马氏链