信息论与编码理论_沉世镒 陈鲁生2002

《信息论与编码理论_沉世镒 陈鲁生2002》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第1章概论1*1信息论的发展概况在本章中我们首先介绍信息论与编码理论的基本情况，其中包括信息论与编码理论的产生、发展、理论的形成过程、重要的应用领域与问题，同时还要介绍信息度量的基本要求与通信系统的基本要素及它们的数学模型.通过这些介绍可使读者对信息论与信息编码理论的全貌有一个基本了解.1.1.1倌息论的产生与发展*信息的概念是一个普遍的概念，从细胞分裂到植物、动物的遗传与进化，从语言文字到动作表情都有信息表达与传递，但是信息论的产生、发展与通信、计算机技术的产生、发展密切相关.回顾它的历史，大体可以分为早期酝酿、理论建立、理论发展、理论应用与近

2、代发展的几个阶段与特征f我们先对此作一个简单的回顾.H2信息论的早期酝酿在人类文明的早期，人们就已经知道利用信息与信息传递等手段来实现某些目的要求.如古代的峰火台，就是用蜂烟来传递外敌入侵的信息.但是，大量信息的运用还是在有线、无线电通信产生以后.在20世纪初，信息论开始进入早期酝酿期,为了提髙通信的质量与效率，人们往往从物理与数学两个不同的方面来考虑+在物理方面，主要研究与改进通信的物理手段与条件，如不同通信手段(如有线、无线通信)的采用，发射与接收设备的改进，波段的选择与信噪比的提高等.但在物理、机电技术改进的同时，人们发现数学理论与工具的使

3、用变得十分重要，许多问题甚至是根本原理性的,对通信中的许多问题，如果没有数学的描述就无法说明.从19挞纪到20挞纪扣年代，信息论的一些基本问题开始形成.1.早期编码问題在有线、无线电通信产生的同时，编码技术随之产生，早期的编码有莫尔斯(Morse)码和波多(Bodo)码等，它们把文字通过点、划、空等信号给以表达，这些码虽很原始，但它们实现了从文字到通信信号的转变.因此莫尔斯码和波多码是最早的编码方式.中文通信一直采用电报码方式，先将汉字变成数宇，再用电码发射-2.通信的有效性与可靠性随着通信距离的加大，出现了信号强度的衰减与噪声干扰的加大问题，因

4、此如何克服噪声干扰问题,就成为通信技术中的一个迫切问题.为解决这呰句题，人们就对通信中的各种因素进行分析.结果发现，频带的加宽可以提高通信效率，而且它的作用较信号强度更为重要.又发现在通信技术中，通信的数M与质M存在相互制约关系，如牺牲通信的数董可以达到提高质量的目的等.这种概念虽符合人们的日常生活经验(说话的多次重复可让对方听得更清楚），徂在理论上应如何解释还是无法说明，因为那时对信息没有度量化，因此不能作定量化的说明.到20世纪20年代，奈奎斯特(H.Nyquist)与哈特莱(L.Hartley)提出了解决以上间题的一系列的讨论，如信息传递的

5、速率与带宽成正比，信息的度量与信号的概率分布、对数函数有关等.这呰思想为以后香农(C.H.Shannon)信息论的建立打下基础.•3.香农熵的其他产生速径至20世纪40年代，控制论的奠基人维纳(N.Wieri^)和美国统计学家费希尔(E.Fisher)与香农同时提出信息的一种度量—熵的定义形式.由此说明，信息论的前期酝酿已经成熟，信息的度量有广泛的背景，从不同的学科方向都可建立信息的度量.4.糾错与检错码的产生与此同时，纠错与检错码的概念也在逐步形成.人们发现，由点，划、空等信号所构成的码可形成一定的结构，由这些结构可产生抗干扰能力，抗干扰的概念

6、实际上就是一种码的纠错能力.1.1.3香农信息论的建立与发展信息论的产生以1948年香农的奠基性论文为起始，至今已有50多年的历史了*在这50多年中，电子、通信与计算机技术、产业与市场经历了空前的大规模的发展，信息技术的产品进人千家万户，成为工作、学习与生活中不可缺少的组成部分.可以毫不夸张地说，信息论在这场空前的技术革命的i午多问题中起到了理论基础、思想先导与技术关键性的作用.现代的快速通信、多媒体与网络技术无不受益于信息与编码理论及它们的相关学科(如信号处理等)的发展，选些发展推动了信息技术的革命，也丰富了信息论的内容，对此我们在下面还要详细

7、说明.自]948年香农理论产生以后，它的发展大体经历了理论的确立与发展、理论的应用与近代发展阶段，为了使读者/解它的情况，下面我们对这些阶段的主要内容与特点做简单介绍.1.香农信息论的确立期‘1叫8年到2〇世纪SO年代,我们把这一时期称为理论的确立期，其主要持点是对香农理论的研究与说明，其巾包括对通信系统的数学模型与基本问题的说明与讨论.其中的主要问题有:对信息量、香农熵的来源、意义与作用的讨讼，关于通信基本问题的讨论，信源、信道编码问题的模型、本质问题与意义的讨论，信源、信道编码的编码定理及其证明，信源、信道编码的编码的实现与应用问题等.这:一

8、阶段T.作完成的主要标志是对以上问题实现了严格的数学描述与论证.从信息的度量到通信模型、从编码问题到主要编码定理的证明都是在严格的数学定