信息论基础—绪论ch01article

《信息论基础—绪论ch01article》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、信息论基础一绪论Contents1信息论简介11.1什么是信息？11.2信息的特性11.3信息、消息、信号之间的关系21.4通信系统模型21.5通信系统详细模型31.6什么是信息论？31.7信息论研究的对象41.8信息论的分支41.9信息论的应用42信息论的发展历史53通信的历史61信息论简介1.1什么是信息？?通俗地说：信息是一种消息。?广义地说：信息是对物质存在和运动形式的一般描述。信息存在于客体间的差别中而不是客体本身中。?狭义地说：信息是为了消除不确定性所必须获得的东西。1.2信息的特性?信息是无形的。?信息是可共事的。?信息是无限的。?信息是

2、可度量的。1.3信息、消息、信号之间的关系?消息是信息的载荷者。消息具有不同的形式：语言、文字、符号、数据、图片等。?构成消息要两个条件：形式的消-能被通信双方所理解-可以在通信中传递和交换?同一消息对不同的客体来说可以含有不同的信息量；同一信息可以用不同息来载荷。?信号是消息的表现形式，消息是信号的具体内容。?信号是表示消息的物理量，包括声波、光波、电信号、机械信号等。1.4通信系统模型消息信号信号+千扰Figure1:通信系统基本模型信源产生消息的源编码器包括信源编码器、信道编码器和调制器信道传送消息的媒质或通道译码器包括解调器、信道译码器和信源译

3、码器信宿消息的接收者干扰源将整个系统中各部分所产生的噪声和干扰都等效成信道干扰，并集中作用于信道信信源,源编•码信道信码道信道译码噪声源加密译码Figure2:通信系统详细模型1.5通信系统详细模型1.6什么是信息论？Thefundamentalproblemofisthatofreproducingatonepointeitherexactlyorapproximatelyamessageselectedatanotherpoint.(ClaudeShannon,1948)?信息论是数学的一个分支学科。?信息论应用于通信、计算机、保密、金融等众多的

4、领域。?香农于1948年发表的、被认为是信息论创立标志的论文的标题就是：AMathematicalTheoryofCommunication(通信的数学理论)Figure3:ClaudeElwoodShannon(1916-2001)狄义信息论-般?（息论广义倍息论Figure4:信息论的概念1.7信息论研究的对象?信息论主要研究随机事件不确定性的度量。?就通信领域而言，信息论用于回答下述三个通信的基本问题：1.对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？2.通过一个有噪声的信道能够以多大的速率可靠地传输数据？3.当速率受限时，我们表示一

5、个对象能够实现多大的精度？了传统狭?通过对上述三个问题的研究，香农得到了三个定理，这三个定理就构成义信息论：SourceCodingTheorem,ChannelCodingTheorem,RateDistortionTheorem.1.8信息论的分支1.9信息论的应用?语音信号压缩（G.711，GSM,Vocoder...）?音频信号压缩（MP3）?图象信号的压缩（JPEG,MPEG...）?计算机文件压缩（compress,gzip,WinRAR,7zip?纠错编码（汉明码、网格编码、卷积码等）?通信（深空通信、Modem、HDLC...）?其他（

6、信息经济学等）香衣佰惠论賣嘬萬Ir»密系細值谓钃码理论」I信犯现论网铭值论宵失真信灘蝙珥无失真值源編珥压槽瑷论伶粕理论採密璁论事失真理论解长鐦W变长嬢R定理定a•最优》构成fP珥的成o—网格最佳wv压缩編14Huffmani*1w代数鑛n卷Figure5:信息论的分支信息论的发展历史H.Nyquist开始分析电报信号传输中脉冲速率与信道带宽的关系R.V丄.Hartley提出信息应该由随机事件样本空间中元素的个数的对数值来衡量N.Wiener开始把傅立叶分析方法全面引入随机时间信号的研宄中来E.H.Armstrong提出频率调制H.Dudley发明了声码

7、器N.Wiener发表《控制论》C.E.Shannon发表《通信中的数学理论》C.E.Shannon发表《保密系统中的通信理论》D.A.Huffman提出了Huffman编码P.EIias提出了卷积码S.K.Kullback提出了鉴别信息的概念C.E.Shannon提出了多用户信息论P.EIias提出了算术编码A.N.Kolmogorov提出了通用编码G.Ungerboeck实现了网格编码调制Turbo码的性能己经非常接近于理论极限3通信的历史?吼?鼓、锣（击鼓进军、鸣金收兵）?旗语、灯语?摆臂式信号机（Semaphores）,1792-1880?书信

8、（驿送、信鸽、信狗）?广播、电视?电报（有线、无线），1837-2006?电传打字机（Tele