第二讲 信源的信息熵ppt课件.ppt

《第二讲 信源的信息熵ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二讲2-1信源的描述2-2离散无记忆扩展信源2-3离散平稳信源2-4马尔可夫信源信源的信息熵信源的特性及其分类信源是信息的来源，它一般是以符号的形式发出消息。消息的符号常常带有随机性，用随机变量或随机矢量来表示。信源可以有多种类型，按不同的准则可有不同的分法。连续信源和离散信源随机变量取值于某一连续区域的，称为连续信源；随机变量取值于某一离散集合的，称为离散信源。2－1信源的描述连续信源的随机变量取值于连续区域，随机变量的概率测度为其中p(x)是对应的概率密度。离散信源：随机变量X的取值集合及

2、其概率测度实际的信源发出的不止是一个符号，而是系列符号。此时信源发出的是随机过程，它是时间的函数，如语言；或是空间的函数，如平面图象。此时需要联合概率密度来描述。例如离散随机序列－－同分布的！若则如果上述概率分布与起始下标无关，即对任意整数t有就称为平稳信源。连续信源：时间离散的连续信源；时间上也是连续的随机波形源。前者输出为连续随机变量序列；后者用随机过程表述。随机过程可以展开为连续的随机向量表示，可以化为时间上离散的信源。（抽样定理）反之，如果各分量不是相互独立的，则联合概率中就必然引入条件

3、概率，说明它们是相互关联的，相应的信源就称为有记忆信源。有记忆信源描述起来要麻烦得多，通常有两种表述方式，一是条件概率，二是马尔可夫链。无记忆信源和有记忆信源当随机矢量的各个分量相互独立，相应的信源就称为无记忆信源。离散信源连续信源信源信源无记忆信源有记忆信源（条件概率；马尔可夫链）时间离散，取值连续时间连续，取值连续（转化）离散无记忆信源：DMS－discretememorylesssource单符号和多符号：随机变量；随机序列平稳信源非平稳信源信源2－2离散无记忆扩展信源输出为N长的符号序列

4、，可以看作单个符号的N次扩展。（无记忆的－－独立的等同分布的i.i.d.序列）N个q项和的乘积！求和号从内开始，变化每一位，和数分别为可如此求和：关于无记忆扩展信源熵的定理：2－3离散平稳信源1、平稳信源一维平稳:二维平稳：与起点无关的含义!概率分布不随时间变化。（含义是i，j取同一符号的情况）完全平稳－－平稳信源：与时间起点无关根据联合概率和条件概率：统计特性不随时间变化。平稳信源的条件概率：联合熵：条件熵：定理：条件熵不大于无条件熵。例题：二维平稳信源平均符号熵：信源输出的N长字母序列，平均

5、每个字母的熵为：极限熵（熵率）：2、离散平稳信源的基本结论：（1）条件熵随N的增加是非递增的；由归纳法证明。（2）N给定时，平均符号熵不小于条件熵；主要是利用两条：条件熵不大于绝对熵；平稳性。（3）平均符号熵随N的增加而是非递增的；（4）极限熵存在，且满足对于无记忆的信源：对于平稳离散信源：－－近似表示！又：例题：书中二阶的例子2－4马尔可夫信源信源输出长度很长时，描述有记忆的信源很困难。实际中往往限制记忆长度，也即信源发出符号只与前m个符号有关，这就是有限记忆情况，是一种具有马尔可夫链性质的信

6、源。马尔可夫链源于描述随机运动，设一随机序列可取的有限（或可数的）状态集为若：关键词：状态转移概率！1.马尔可夫链（Markovchain）则称该随机序列为马尔可夫链（简称马氏链）随机状态序列，满足下述性质：A.可能状态数目（有限性）；B．状态转移概率与时间无关，只由状态i和j决定（时齐性）；－－（平稳性是指联合概率）C．进入某状态的概率只与前一时刻的状态有关，而与更早的状态无关（马氏性）；即有限状态、齐次马尔可夫链：马氏性：本次（现在）将跳到哪里（未来）与过去的情况无关！一步转移概率：n步转移

7、概率：例题－1：S={0,1,2}例题－2：Chapman－Kolmogorov方程：状态的初始概率：不一定是不随时间变的。遍历性（各态历经性－Ergodicity）：不论质点从哪个状态出发，当转移步数足够大时，转移到状态的概率都近似为常数。即足够长时间后，信源的分布成为一种平稳分布。该平稳分布是唯一的。若初始分布为该平稳分布，则开始即为平稳的。存在稳态分布的充要条件：存在一个正整数N，使的所有元素均大于零。例如：可计算平稳分布设信源字母集为若信源是有限记忆的（m长），则可将m个输出字母当作状态

8、。设有J个可能状态2.马尔可夫信源：（有限记忆的）信源在某个状态下，每单位时间产生一个特定消息符号，并且当此消息产生之后就转入一个新的状态。信源输出的符号随机序列为：信源的随机状态序列为：表示l时刻信源处于第j个状态下产生符号为的概率。表示第l－1时刻信源处于第j个状态下，在下一个时刻（第l时刻）转移到第i个状态的概率。如果转移概率和已知状态下的符号概率与时刻无关，则为时齐的或齐次的马氏链。若信源输出的消息序列与信源的状态满足以下条件时就称为马尔可夫信源：（1）某一时刻信源的输出只与当时信源的状