资源描述：
《信息论与编码技术 chap2 信源及其熵》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第二章信源及其熵本章介绍信源的统计特性和数学模型各类信源的信息测度----熵及其性质引入信息理论的一些基本概念和重要结论第一章的几个推论通信系统模型：对信息论的学习可从信源开始消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源2.1信源的数学模型及分类单符号信源：输出是单个符号（代码）的消息离散信源连续信源平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量X＝(X1,X2,…,XN)描述
2、，且随机矢量X的各维概率分布都与时间起点无关----平稳！离散平稳信源连续平稳信源无记忆（独立）离散平稳信源有记忆信源m阶马尔可夫信源随机波形信源离散信源(单符号)特点：输出是单个符号（代码）的消息，符号集的取值A:{a1,a2,…,aq}是有限的或可数的，可用一维离散型随机变量X来描述。例：投硬币、书信、电报符号等等。数学模型：设每个信源符号ai出现的(先验)概率p(ai)(i=1,2,…,q)满足：概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。连续信源特点：输出是单个符号（代码
3、）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X来描述。例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。数学模型：连续型的概率空间。即：或满足或平稳随机序列信源总体特点：信源输出的消息由一系列符号序列所组成，可用N维随机矢量X＝(X1,X2,…,XN)描述，且随机矢量X的各维概率分布都与时间起点无关平稳！！离散平稳信源：每个随机变量Xi(i＝1,2,…,N)都是离散型随机变量连续平稳信源：每个随机变量Xi(i＝1,2,…,N)都是取值连续的随机变
4、量离散无记忆平稳信源离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi(i＝1,2,…,N)之间统计独立性质：独立－>P(X)=P(X1,X2,…,XN)=P1(X1)·P2(X2)···PN(XN)平稳－>P1(Xi)=P2(Xi)=···=PN(Xi)－>N维随机矢量的一个取值，i＝(ai1ai2…aiN)P(aik)是符号集A的一维概率分布设各随机变量Xi取值同样符号集A:{a1,a2,…,aq}，则描述的信源X的各输出Xi间统计独立、且取值同一符号集A，则X为离散无记忆信
5、源，称该信源输出的N维随机矢量X为离散无记忆信源X的N次扩展信源若X取值为符号集i＝(ai1ai2…aiN),其中(i1,i2,…,iN=1,2,…,q)，则离散无记忆信源的N次扩展信源的数学模型是X信源空间的N重空间：有记忆信源信源在不同时刻发出的符号之间是相互依赖的，即信源输出的平稳随机序列X中，各随机变量Xi之间相互依赖。需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序
6、列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此m阶马尔可夫信源不同时刻发出的符号间的依赖关系记忆信源的记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源若上述条件概率与时间起点i无关，信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源更一般情况：随机波形信源实际信源输出的消息常常是时间和取值都是连续的。这类信源称为随机波形信源。随机波形信源在某一固定时间t0的可能取值是连续和随机的。对于这
7、种信源输出的消息，可用随机过程来描述。例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续函数。2.2离散信源的信息熵其性质讨论基本的离散信源(即输出为单个符号的消息，且这些消息间两两互不相容)基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为:问题：这样的信源能输出多少信息?每个消息的出现携带多少信息量?信息的度量考虑：信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性＝获得的信息量；不确定性就是随机性，可以用概率论和
8、随机过程来测度，概率小－>不确定性大；推论：概率小－>信息量大，即信息量是概率的单调递减函数；信息量应该具有可加性；信息量的计算公式为（香农（自）信息量的度量）：一.自信息设离散信源X的概率空间为：I(ai)代表两种含义：（1）当事件ai发生以前，表示事件ai发生的不确定性（2）当事件ai发生以后，表示事件ai所提供的信息量称事件ai发生所含有的信息量为ai的自信息量。定义为：[例]8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一
