资源描述：
《第二讲 基本理论、概念和方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第二章基本理论、概念、方法主要内容：¢概率论¢信息论¢随机过程¢通信系统中的随机信号分析方法一概率论基础知识（1）¢概率论回忆¢集合（样本空间，全集、子集、合集（并集）、交集、空集）¢事件（集合的某个子集）¢互不相容事件（互斥事件）：两个事件没有公共样本¢相容事件（与不相容事件对称）¢事件和、事件交（互斥事件的事件和等于？事件交等于？）¢必然事件（出现的概率=1）、零事件（出现的概率=0）¢联合事件/联合概率（两个事件共同发生的概率，表示为P(Ai，Bj)或P(A∩B)）1一概率论基础知识（2）¢概率论
2、回忆¢条件概率：事件A在另外一个事件B已经发生条件下的发生概率，表示为P(A
3、B)，读作“在B条件下A的概率”。P(AB)=P(A
4、B)P(B)¢统计独立：A事件的发生不依赖事件B的发生，则称A、B统计独立¢事件A与事件B是统计独立的，则P(AB)=P(A)P(B)一概率论基础知识（3）¢常用公式：¢P(!A)=1–P(A)¢P(AUB)=P(A)+P(B)–P(AB)¢P(B
5、A)=P(AB)/P(A)¢或：P(AB)=P(B
6、A)P(A)2一概率论基础知识（4）¢全概率公式：¢P(B)=∑P(B
7、A
8、i)P(Ai)，P(A)=∑P(A
9、Bi)P(Bi).¢贝叶斯公式：¢假设导致事件A发生的“原因”有Bi(i=1,2,…,n)，它们互不相容。现已知事件A确已经发生了，若要估计它是由“原因”Bi所导致的概率，则可用Bayes公式求出，即可从结果分析原因。¢P(Bi
10、A)=P(A
11、Bi)P(Bi)/P(A)=P(A
12、Bi)P(Bi)/∑P(A
13、Bj)P(Bj)二信息论基础知识¢什么是信息？¢信息是消息（或事件）中包含的有意义的内容¢举例说明信息3二信息论基础知识¢信息有什么特点？¢消息中所含信息量I是该消
14、息出现的概率P(x)的函数I＝I[P(x)]¢消息出现的概率小，所包含的信息量大，反之，则所包含的信息量小。极限情况，当P(x)＝1时，I＝0，P（x）＝0时，I＝∞。¢若干相互独立事件构成的消息，所含信息量等于各独立事件信息量之和。I[P(x1)P(x2)····]＝I[P(x1)]＋I[P(x2)]＋·······信息的度量¢信息量I与概率P(x)的数学关系I＝log[1/P(x)]=-logP(x)aa4信息的度量¢信息量的单位：¢取决于对数底a¢a=2，信息量单位为比特（bit）¢a=e，信息量
15、单位为奈特（nit）¢a=10，信息量单位为笛特（Det）¢不同单位的换算关系¢logaP=log2P/log2a离散消息的信息量¢用M进制来表示M个离散消息，假如各离散消息相互独立，且出现的概率相同，则每个消息（也称符号symbol）的信息量1I=log=logM221M¢特别地，M＝2，I＝1bit，即每个二进制消息的信息量为1bit5信源熵¢非等概率的离散消息所含信息量如何计算？¢用概率统计的方法计算平均信息量¢对于每个消息（符号symbol）非等概率出现的情况，则每个符号所含的统计平均信息量用熵
16、的概念表达。信源熵¢离散信源的信息量：¢设离散信息源是n各符号的集合（符号集），各符n号出现的概率分别为P(x1)..,P(xn)且∑P(xi)=1i=1⎡x1,x2,.....,xn⎤⎢⎥P(x),P(x),......,P(x)⎣12n⎦¢则每个符号所含信息量的统计平均值（熵）H(x)=P(x)[−logP(x)]+P(x)[−logP(x)]+....+P(x)[−logP(x)]121222n2nn=−∑P(xi)log2P(xi)i=16例：某离散消息的信息量计算¢[例1.4.1]一信源由4个
17、符号0、1、2、3组成，它们出现的概率分别为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求某个消息201020130213001203210100321010023102002010312032100120210的信息量。算数方法计算°消息共有57个符号，8°其中0出现23次，I(0)==23log233bit3°1出现14次，I(1)=14log42=28bit°2出现13次，I(2)13log4=2=26bitI(3)=7log8=21bit°3出现7次，2°该消息所含信息量I=3
18、3282621108(+++=bit)108°平均一个符号的信息量Ib==1.89(it/符号)577用熵的概念计算每个符号统计平均（熵）信息量：33111133H(x)=−log−log−log−log222288444488=1.906bit/符号该消息所含信息量为：I＝57x1.906=108.64bit熵与信源编码°从通信系统的有效性指标考虑，我们希望单个符号所携带的信息量越大越好，即最求熵的最大化°可以证明，信源熵的最大值发生在各
