欢迎来到天天文库
浏览记录
ID:12512954
大小:160.00 KB
页数:14页
时间:2018-07-17
《2.1基本信息论例题及其分析》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、第2章基本信息论信源是消息的来源,信道是消息传送媒介,信宿是消息的目的地。Shannon信息论的中心问题“信息论”,又称为“通信的数学理论”,是研究信息的传输、存储、处理的科学。信息论的中心问题:为设计有效而可靠的通信系统提供理论依据。(具体地说,就是信源编码和信道编码。以下来看所要解决的具体问题。)问题一:信源消息常常不能够完全发送。(否则发送量巨大,比如:无尽的天空。因此优先捡有用的发送)问题二:信道因干扰而出现差错,如何进行检错和纠错。第一个重要概念:信道上传送的是随机变量的值。注意:(1)这就是说
2、,我们在收到消息之前,并不知道消息的内容。否则消息是没有必要发送的。(2)消息随机变量有一个概率分布。(3)消息随机变量的一个可能取值就称为一个事件。第二个重要概念:事件发生的概率越小,此事件含有的信息量就越大。(不太可能发生的事件竟然发生了,令人震惊)例事件“中国足球队3:0力克韩国足球队”含有的信息量大。(小概率事件发生了,事件信息量大)例事件“中国足球队0:1负于韩国足球队”含有的信息量小。(大概率事件发生了,事件信息量小)第三个重要概念:消息随机变量的随机性越大,此消息随机变量含有的信息量就越大。
3、例消息随机变量X=“中国足球队与韩国足球队比赛的结果”,则消息随机变量X含有的信息量小。(随机性小,可预见性大,因此该消息随机变量含有的信息量小。)例消息随机变量X=“意大利足球队与德国足球队比赛的结果”,则消息随机变量X含有的信息量大。(随机性大,可预见性小,因此该消息随机变量含有的信息量大。)第四个重要概念:两个消息随机变量的相互依赖性越大,它们的互信息量就越大(这里指的是绝对值大)。例X=西安明日平均气温,Y=咸阳明日平均气温,Z=北京明日平均气温,W=纽约明日平均气温。则X与Y互信息量大,X与Z互
4、信息量小得多,X与W互信息量几乎为0。·信息的可度量性-建立信息论的基础;·信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等;·统计度量:用事件统计发生概率的对数来描述事物的不确定性,得到消息的信息量,建立熵的概念;·熵概念是香农信息论最基本最重要的概念。·离散信源:可能输出的消息是有限的或可数的,每次只输出一个消息,即两两不相容。·连续信源:可能输出的消息数是无限的或不可数的,每次只输出一个消息。·离散无记忆信源:离散信源在不同时刻发出的符号之间是无依赖的,彼此统计独立的。·离散无记忆信源X的N
5、次扩展信源:由离散无记忆信源输出N长的随机序列构成的信源。·有记忆信源:输出的随机序列X中各随机变量之间有依赖关系,但记忆长度有限。·m阶马尔可夫信源:信源每次发出的符号只与前m个符号有关,与更前面的符号无关。·X,Y代表随机变量,指的是信源整体;·xi,yi代表随机事件的某一结果或信源的某个元素。不可混淆!概率复习将(3)代入(6)得到实用公式。2.1信源及信源的不确定性实际有用的信源应具有不确定性(也称为不肯定性)。2.1.1不确定性的概念[例2.1.1]如某二元信源(含有两个不同消息的信源)发送1的
6、概率为0.99,而发送0的概率为0.01,信宿仅凭猜测就可以简单地认为信源发出的消息始终都是1,即使如此,猜错的概率(差错率)也可以较低,仅为百分之一。说明在这种情况下,信源基本上在发送1,信源的不确定性很小。[例2.1.2]如果二元信源发1和发0的概率相等,均为0.5,这时信宿如果不依赖通信而猜测的话,其差错率就高达百分之五十,即会猜错一半。说明信宿要猜测信源发什么消息困难了,因为信源发什么消息相当不确定。[例2.1.3]如果信源具有更多的消息,例如发10个阿拉伯数字0,1…9(例如采用四位十进制数的中
7、文电报)而且假定这10个消息是等概率分布的,均为十分之一,这对于信宿来讲更难猜了,因为现在变成了猜测10个消息里到底发的是哪一个的问题,显然比两个里猜一个难多了,因为信源发什么消息更不确定了。[例2.1.4]现在讨论一种极端的情况。信源只发送一种消息,即永远只发送1(信源相当于一个直流电源,例如+5V的稳压电源)或者永远只发送0(信源相当于一个电能耗尽,输出为0V的电池,或一根电阻为零的短路导线),现在从这样的信源我们不可能获得任何消息,相当于我们从一节电池不可能获得任何例如语音或图像的信息(只可能获得能
8、量)。如果信源只发出一个确定的消息,则信源的不确定性为零。一个实际有用的信源应具有至少两种消息。可以用概率空间描述信源。对于信源,其概率空间为: XP(X) (2.1.1)各消息出现的概率满足:0≤p(xi)≤1∑p(xi)=1(2.1.2)和(2.1.3) 根据以上分析的四个例子可以写出对应的概率空间:[例2.1.1]:[例2.1.2]:[例2.1.3]:[例2.1.4]: 对上面四个例子进行归纳可得出以下有用的结论:(
此文档下载收益归作者所有