信息论 第二章07209

《信息论 第二章07209》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第二章离散信源及其信息测度第一节信源的数学模型及分类第二节离散信源的信息熵第三节信息熵的基本性质第四节离散无记忆的扩展信源第五节离散平稳信源第六节马尔可夫信源第七节信源剩余度与自然语言的熵第一节信源的数学模型及分类在通信系统中，收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源。不同的信源根据其输出消息的不同的随机性质进行分类。第一节信源的数学模型及分类1、离散信源数学模型如下：集合X中，包含该信源包含的所有可能输出的消息，集合P中包含对

2、应消息的概率密度，各个消息的输出概率总和应该为1。例：天气预报第一节信源的数学模型及分类2、连续信源数学，模型如下：每次只输出一个消息，但消息的可能数目是无穷多个。例：电压、温度等。第二节离散信源的信息熵1、自信息我们认为，一个字符它所携带的信息量是和该字符出现的概率有关，概率可以表征自信息量的大小根据客观事实和人们的习惯概念，应满足以下条件:第二节离散信源的信息熵（2）当时（3）当时（4）两个独立事件的联合信息量应等于它们分别的信息量之和。(1)应是先验概率的单调递减函数，即当时第二节离散信源的信息熵根据上述条件可以从数学上证明这种函数形式是对数函数，即

3、：有两个含义：1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，标是该事件所提供的信息量．自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位第二节离散信源的信息熵例：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用来表示晴天，以来表示雨天，则我们的信源模型如下：第二节离散信源的信息熵我们定义自信息的数学期望为信源的平均信息量信息熵具有以下两种物理含义：1、表示信源输出前信源的平均不确定性2、表示信源输出后，每个符号所携带的平均信息量2、信息熵例：天

4、气预报，有两个信源则：说明第二个信源的平均不确定性更大一些第二节离散信源的信息熵第三节信息熵的基本性质熵函数可以表示为：第三节信息熵的基本性质性质1：非负性H(X)≥0由于0≤pi≤1,所以logpi≤0，logpi≥0，则总有H(X)≥0。性质2：对称性根据加法交换律可以证明，当变量交换顺序时熵函数的值不变。信源的熵只与概率空间的总体结构有关，而与个概率分量对应的状态顺序无关；第三节信息熵的基本性质性质3：确定性；当信源X的信源空间[X，P]中。任一个概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。如果一个信

5、源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。第三节信息熵的基本性质性质4：扩展性这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。第三节信息熵的基本性质性质5：极值性上式表明，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重要得结论，称为最大离散熵定理例：对于一个二元信源H(X)=H(1/2,1/2)=log2=1bit第四节

6、离散无记忆的扩展信源实际信源输出的消息往往是时间上或空间上的一系列符号，如电报系统，序列中前后符号间一般是有统计依赖关系的。我们先讨论离散无记忆信源，此时，信源序列的前后符号之间是统计独立的如在二元系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、01、10和11，我们可以把这四种情况看成一个新的信源称为二元无记忆信源的二次扩展信源，相应的，如果把N个二元数字看成一组，则新的信源称为二元无记忆信源的N此扩展信源。第四节离散无记忆的扩展信源一般情况设一个离散无记忆信源为：则该信源的N次扩展信源为：第四节离散无记忆的扩展信源其中：根据信息熵的定

7、义：可以证明，对于离散无记忆的扩展信源例:离散无记忆信源的N次扩展信源离散无记忆信源为：X:{a1,a2,a3};P(X):{1/4,1/2,1/4}2次扩展信源为：:{A1…A9}信源的9个符号为：A1=a1a1A2=a1a2A3=a1a3A4=a2a1A5=a2a2A6=a2a3A7=a3a1A8=a3a2A9=a3a3第四节离散无记忆的扩展信源第四节离散无记忆的扩展信源其概率关系为:A1A2A3A4A5A6A7A8A91/161/81/161/81/41/81/161/81/16计算可知第五节离散平稳信源一般来说，信源的前后消息之间有前后依赖关系，可

8、以用随机矢量描述：信源在某一时刻发出什么样的值取决于两方面1、这一