浅谈信息论及其应用

《浅谈信息论及其应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅谈信息论及其应用摘要本文主要研究了信息论的起源、信息论的分类、信息论研究的主要内容以及信息论在现实生活中的运用，信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。主要介绍信息论在数据压缩、密码学、统计及信号处理中的应用。关键字：信息论数据压缩密码学一、信息论的起源随着社会的发展，科学技术的不断进步，近些年信息论，控制论和系统论被作为一种新的理论方法，在社会科学各个领域中被加以尝试和运用。信息反馈控制机制稳定性等大量新概念和新名词被人们所接受，并涌进许多传统的社会科学领域这是

2、一场方法论的革命，为社会科学各个领域带来了朝气。信息论最早是美国研究所（信息论之父）克劳德·申农提出[1]，他于1948年10月发表于贝尔系统技术学报上的论文《通信的数学原理》作为现代信息论研究的开端。二、信息论的定义与分类（一）定义[2]1.申农认为信息论是：通讯的基本问题就是精确地或近似地在一端复现在另一端所挑选的信号。2.信息论是关于信息的本质和传送规律的科学理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴科学。（二）分类1.狭义信息论：是用统计学的方法研究通讯系统中存在的信息传递和处理的规律的科学。2.

3、广义信息论：是用数学和其他有关科学的方法研究一切现实系统中存在的信息传递、处理识别和利用的共同规律的科学。三、信息论研究的基本内容实际通信系统比较复杂，但是任何通信系统都可以抽象为信息源发送机信道接收机收信者，因此，通信过程中信息的定量表示信源和信宿信道和信道容量编码和译码等方面的问题，就构成了信息论的基本内容。信息论是运用概率论与数理统计的方法研究信息信息熵通信系统数据传输密码学数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域这

4、两个方面又由信息传输定理信源信道隔离定理相互联系[3]。1.信息。从广义上讲，信息是指不同物质在运动过程中发出的各种信号；从狭义上讲，信息是指各种物质在运动过程中发出的映出来的数据。指令消息情报图象信号等对于信息的定义，目前学术界还没有一个一致的看法，信息论的创始人申农认为，信息就是用以消除随机的不定性的东西；控制论的创始人维纳认为，信息是人与环境相互交换内容的名称，也可以叫负商。信息依赖于物质和能量，但是它与物质和能量有明显的区别，它不是独立的实体，它不会由于输送和摄取而消耗，也不会因为无人问津而增殖；信息的作用与物质的多

5、寡也没有必然的联系，而且在许多情况下，信息的作用是物质和能量所不能代替的可以说信息既不是物质，也不是意识，而是物质联系的形式。2.信息量。它是信息多少的量度许多科学家对信息进行深入的研究以后，发现事件的信息量与事件出现的概率有密切的关系：事件发生的概率大，信息量就越小；反之，事件发生的概率就越小，信息量就越大。例如：池塘周围的护栏越密，小孩或大人掉进池塘的可能性就越少；反之则反[4]。3.信源和信宿。信源即消息的来源消息一般以符号的形式发出，通常就有随即性信源是多方面的，自然界的一切物体都可以成为信源如：人在碰见歹徒时会发出

6、救命的声音，这对于其他人来说是一种信息狗看见陌生人就会发出汪汪的叫声，告诉主人有朋友来了或者有盗贼入侵草儿绿了，预示着春天来了由此可见，信息的发出者不仅仅是人类所具有的特质，而且其他动物。植物等也具有这一功能如果信源发出的信号是确定的，即是事先知道的，就不会传输任何信息如果符号的出现是时刻变化的随机事件，就可以用随机变量来表示以随机变量来研究信息，是信息论的一个基本思想。信宿是信息的接收者，它能够接收消息，并使消息再现，达到通讯的目的信宿可以是人，也可以是机器。例如：我们看电视，电视是信息的发出者，人从电视上了解各种各样的信

7、息，人就是信宿；电视相对于各个电视台来说，也是一个信宿，即信息的接收者。4.信道和信道容量在信源和信宿之间存在着传递信息的通道，其主要任务是传输信息和存储信息。信源发出的信息必须进行编码，使之能转化成为能在信道中传输的信号信道容量是指信道传输信息的多少以及速度。通讯速度的大小并不完全取决于信道的性质，它还随信源性质和编码方法而改变。5.编码和译码。“码”是一个符号表达和将这些符号排列起来所必须遵守的一些约定。运用这些符号，遵守相应的约定把信息变成信号，这一过程就是编码用符号来表达消息，称为信源编码；将符号转换成为信道所要求的

8、信号，称为信道编码[5]。在通讯系统里，消息往往要经过几次编码，才能变成适合信道传输的信号当信号系列通过信道输出后，必须经过译码复制成消息，才能送达接收者。译码过程正好与编码过程相反，所以译码就是编码的逆过程。6.信息方法。所谓信息方法，是指用信息的观察来考察系统的行为结构和功能，通过对信