[工学]ch3离散信源

《[工学]ch3离散信源》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章离散信源2021/9/1计算机科学与技术学院2主要内容3.1信源的数学模型及其分类3.2离散无记忆信源3.3离散无记忆信源的扩展信源3.4离散平稳信源3.5马尔可夫信源3.6信源的相关性和剩余度2021/9/1计算机科学与技术学院33.1信源的数学模型及其分类编码器干扰器信源信宿消息噪声信道信号+噪声信号译码器消息信息的来源称为信息源(InformationSource)。信息是抽象的，需要通过消息（0-1序列、汉字、字母、图像等）来研究信源。二进制信源：X={0,1}汉语：X={人,口,手,山,水,田,…}

2、英语：X={a,b,c,…,x,y,z}莫尔斯电报：X={•,—,字符间停顿，词之间停顿，句子间停顿}2021/9/1计算机科学与技术学院43.1.1信源的数学模型如何对信源建模？特点：信源可以输出多个符号，每个符号以一定的概率随机出现。因此可以用概率来描述信源。X：表示信源的随机变量；xi：表示信源符号；p(xi)：信源符号xi出现的概率。2021/9/1计算机科学与技术学院5根据信源输出在时/空、幅度取值是否连续：连续信源——时/空连续、幅度连续（如自然图像）离散信源（数字信源）——时/空离散、幅度离散（如数字

3、图像）3.1.2信源的分类——离散信源与连续信源2021/9/16数字图像示例3.1.2信源的分类——离散信源与连续信源2021/9/173.1.2信源的分类正常人精神病患者根据信源输出是否独立：有记忆信源——信源发出的各个符号之间不是相互独立的，是有依赖关系的。无记忆信源——信源发出的各个消息符号是相互独立的，是没有依赖关系的。——有记忆与无记忆信源无记忆信源：信源发出的各个消息符号是相互独立的，是没有依赖关系的。前面已经出现的信源符号对后面将要出现哪个信源符号没有影响例如：一个袋子里有红球白球各50个，每次摸一

4、个后放回，则无论已摸过的球是红或白，再摸一次球，红白出现的概率都是1/2如何用概率的方法定义无记忆信源？已出现符号对将要出现的符号的概率没有影响，p(x

5、y)=p(x).设X=x1x2…xM是信源发出的符号序列，3.1.2信源的分类——无记忆信源有记忆信源：信源发出的各个符号之间不是相互独立的，是有依赖关系的。例如：自然语言、数字图像等。p(们)=0.01,p(碗)=0.01p(们

6、我)=0.05,p(碗

7、我)=0.001现实存在的信源多是有记忆信源有记忆信源分类有限记忆信源无限记忆信源我们、要、的、把、看、…碗、

8、机、水、书、框、…3.1.2信源的分类——有记忆信源3.1.2信源的分类——有限记忆信源和无限记忆信源有限记忆信源：信源发出的消息符号只与前若干个符号的关系比较密切，与更前面符号的关系逐渐减弱，直至无关。p(xi

9、xi-1xi-2…xi-m)如果只与前m个符号有关系，则称m为记忆长度无限记忆信源：信源发出的消息符号与前面出现的所有符号都有关系。p(xi

10、xi-1xi-2xi-3…)3.2离散无记忆信源定义3.2.1信源X的符号集为(x1,x2,…,xq)，q为信源发出的消息符号的个数，每个符号发生的概率为p(xi)

11、,i=1,2,…,q，这些消息符号彼此互不相关，且有则称X为离散无记忆信源。定义3.2.2信源中某个事件（消息符号）的自信息量I(xi)=-logp(xi)定义3.2.3信源的平均自信息量（信源熵）信源熵的单位信源符号（消息符号）的自信息量表示该符号带有多少信息量信源熵表示的是平均每个符号带有多少信息量所以当底数为2时，信源熵的单位为：比特/符号信源输出哪个符号是不确定的一旦输出一个符号，便消除了这种不确定性即带来了信息因此仍然用概率衡量信源包含的信息量的大小3.2离散无记忆信源——信源的自信息量和平均自信息量信源

12、熵的例子例3.2.1解：信源熵的例子例3.2.2二元信源它的熵为：二元信源的信息熵H(X)是概率p的函数，通常用H(p)表示。可以一个符号一个符号的来研究信源，但有时这样不能满足实际应用的需要。汉语：更多地考察的是句子，而不是汉字。英语：更多地考察的是单词，而不是字母。图像：更多地考察的是整幅图像，而不是单个像素。N次扩展信源：集合中的每一个元素是一个N维随机矢量二进制信源：X={00,01,10,11},N=2汉语：X={我们在上课，张三睡着了，…},N=5英语：X={the,car,ear,she,you,…}

13、,N=33.3离散无记忆信源的扩展信源二次扩展信源（N=2）qN=4=22，q=2，N=2例如：p(01)=p(0)p(1)=p(1-p)三次扩展信源（N=3）qN=8=23，q=2，N=3例如：p(011)=p(0)p(1)p(1)=p(1-p)2二元信源的扩展信源定义3.3.1X是一个离散无记忆信源则X的N次扩展信源为：其中离散无记忆信源的N次扩展3.3