信息论基础第二章节

《信息论基础第二章节》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章随机过程的信息度量和渐进等分性7/14/20211第一节信源和随机过程的基本概念第二节随机过程的信息度量第三节渐进等分性质第四节渐进等分性质在数据压缩中的作用–信源编码定理第五节Shannon-McMillan-Breiman定理2§2.1信源和随机过程的基本概念信源即信息的来源，信源的输出称为消息，消息有各种类型，如文本、语音、图像等。消息要转换成信号进行传输。通常信源的输出是随机的，即事前无法肯定其输出，但其服从一定的随机规律，因此利用随机过程或随机序列来建立信源的数学模型成为必然。3不同类型的信源具有不同的性质，因此涉及到信源的分类。按照信源的信号取值集合和信号取值时刻的离

2、散或连续性可分为四类。信源按其数学模型随机过程的统计特征分类可分为有记忆/无记忆、平稳、遍历、马氏等类型信源。本章只讨论离散信源。4离散随机过程的定义一个离散信源的输出为一个取值于有限字母集的一个随机过程，记为其中称为状态集。一个离散随机过程是一系列随机变量，它是由一簇联合分布唯一决定5无记忆信源当为相互独立的随机变量，且服从相同的分布：对任意的i成立时，信源为无记忆信源6k-阶马尔可夫信源称一个离散随机过程为k-阶马尔可夫过程，如果对任意的m>k>0和成立。特别当k＝1时，称为马尔可夫过程，此时7此时联合概率可简化为如果一个信源序列是k-阶马尔可夫过程，称信源为k-阶马尔可夫信源，k

3、＝1时称为马尔可夫信源，对于k-阶马尔可夫信源通常可以用转移概率矩阵或状态转移图描述。8例2.1.1一阶平稳马氏信源设是取值于的一个一阶平稳马氏信源，其平稳分布为一步转移概率为9则用转移概率矩阵表示为也可用状态转移图表示为0110其n长序列的联合分布为：11例2.1.2二阶平稳马氏信源设是取值于的二阶平稳信源，其状态可用两个二进数字表示，共有四种00，01，10，11，信源的统计特性由以下转移概率给出用转移概率矩阵表示为12用状态转移图表示为0001111013如果把初始状态记为，则信源的联合分布为14平稳信源称离散随机过程为平稳的，若对任意的正整数k，及任意的正整数与有相同的联合分布

4、，即15如果一个马氏过程是平稳的，则对任意的m>0成立，即此时转移概率不依赖时间，此时称状态转移矩阵为马氏过程的公共转移矩阵，这时称马氏过程为齐次马氏链。16若存在上的一个概率分布，满足则称其为马氏过程的平稳分布。显然，对于平稳马氏过程来说对任意的m>0成立，这时马氏过程完全由该平稳分布和转移概率决定。如果一个信源序列是平稳过程，则称该信源为平稳信源，如果一个信源序列是平稳马氏过程，称信源为平稳马氏信源。17遍历信源设为一实数列，用T表示移位算子，，称实数列集合A为平移不变集，如果当且仅当。称一个平稳过程为遍历的，如果对任何平移不变集A有直观的说，遍历的马氏过程从任何一个状态出发可以在

5、有限步到达其他状态。18大多数的马氏信源是遍历的，下一信源为非遍历的00011110吸收态19定理2.1.1弱大数定律20定理2.1.2强大数定律21一个信源序列如果使强大数定律成立，称它为平均遍历的。一个无记忆信源在适当条件下是平均遍历的。平稳遍历信源是平均遍历的，但反之不成立。逆反命题是：一个信源如不满足平均遍历性（即强大数定律），则必是非遍历的。22信源熵如何度量？[例]设某二维离散信源的原始信源的信源空间X={x1,x2,x3};P(X)={1/4,1/4,1/2},一维条件概率为：p(x1/x1)=1/2;p(x2/x1)=1/2;p(x3/x1)=0;p(x1/x2)=1/

6、8;p(x2/x2)=3/4;p(x3/x2)=1/8;p(x1/x3)=0;p(x2/x3)=1/4;p(x3/x3)=3/4;原始信源的熵为：H(X)=1.5bit/符号条件熵：H(X2/X1)=1.4bit/符号可见：H(X2/X1)

7、们可以用条件熵来近似，为1.4bit，到底那一种正确呢？我们可以通过对一般离散平稳信源的分析来找到这个答案。分析：我们用来近似信源的实际熵24§2.2随机过程的信息度量设是一个取值于有限字母集的离散随机过程，记为n维随机变量的联合熵，则有：当随机过程是平稳的时，上式为25满足上式的数列称为半可加数列，以下引理证明极限存在。引理2.2.1设是满足的半可加数列，则26设是平稳信源，则存在，且称为平稳信源的熵率，以下给出其容易计算的另一形式。定理2.