《信息论基础》PPT课件(I)

《《信息论基础》PPT课件(I)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章信息论基础内容提要信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。1.1信息的概念物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和

2、处理的一般规律的科学。对于信息论的研究，一般划分为三个不同的范畴：广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。1.2信息传输系统通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。各种通信系统，一般可概括为图1.1所示的统计模型：干扰源信道信道译

3、码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图1-1信息传输系统模型这个模型包括以下五个部分：3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编码器信源编码器，提高传输效率信道编码器，提高传输可靠性1.3离散信源及其数学模型信源是产生消息的源，根据X的不同情况，信源可分为以下类型：根据信源的统计特性，离散信源又分为两种：离散信源消息集X为离散集合。波形信源时间连续的信源。连续信源时间离

4、散而空间连续的信源。无记忆信源X的各时刻取值相互独立。有记忆信源X的各时刻取值互相有关联。1.3.1离散无记忆信源离散无记忆信源(DiscreteMemorylessSource，简记为DMS)输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。离散无记忆信源的数学模型为离散型的概率空间，即：q(xi)：信源输出符号消息xi的先验概率;满足：0q(xi)1，1iI1.3.2离散无记忆的扩展信源实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这

5、N个符号取自同一符号集{a1,a2,…,ak}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间：x为各种长为N的符号序列，x=x1x2…xN，xi{a1,a2,…,ak}，1iN，序列集X={a1a1…a1,a1a1…a2,…,akak…ak}，共有kN种序列，xX。序列的概率q(x)=q(x1x2…xN)=1.3.3离散平稳有记忆信源中、英文句子中前后出现的汉字、字母往往是有依赖的。这种依赖性我们称作有记忆。用联合概率空间{X,q(X)}来描述离散有记忆信源的输出。信源在i时刻发出什么符号与i时

6、刻以前信源所发出的符号有关，即由条件概率p(xixi-1xi-2…)确定。如果该条件概率分布与时间起点无关，只与关联长度有关，则该信源为平稳信源。对于离散平稳有记忆信源，有：p(x1=a1)=p(x2=a1)=…p(x2=a2x1=a1)=p(x3=a2x2=a1)=…p(x3x2x1)=p(x4x3x2)=…┇p(xi+Lxi+L-1xi+L-2…xi)=p(xj+Lxj+L-1xj+L-2…xj)=…┇【例1.4】某离散平稳信源，设信源发出的符号只与前一个符号有关，其关联程度用表1-1所示联合概率p(xixj)表示（xi为前一个符号，xj为后一

7、个符号）：xjxi01201/31/9011/91/181/6201/61/18表1-1p(xixj)满足，由可计算出当已知前一个符号xi时，后一个符号xj为0、1、2时的概率各为多少：xjxi01203/41/4011/31/61/2203/41/4表1-2p(xjxi)1.3.4马尔可夫信源马尔可夫信源输出的消息序列与信源的状态满足下列条件：(1)某一时刻信源的输出只与当时的信源状态有关，而与以前的状态无关。p(xr=aler=si,er-1=st,er-2=sn,…)=p(xr=aler=si)，满足。(2)某一时刻信源所处的状态只由当前的输出符号和

8、前一时刻的状态唯一决定。