信息论与编码序论1讲

《信息论与编码序论1讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章绪论綦朝晖石家庄铁道大学信息科学与技术学院2021年7月20日1联系方式单位：网络工程与信息安全系办公室：第二实验楼213联系电话：87935049Email:stdu2013@163.com课程学习交流群：1140972042课程考核方法考核由课程考试和出勤两部分构成。试卷：以课程讲授内容为基础。3课程的基本要求不得无故缺席，如果不能出勤，必须事先请假；上课时间内，不能进进出出，不能出现任何手机铃声；4C.E.Shannon：美国科学家，信息论创始人中文译名：山农，香农，仙农，商农5§1.1信息的一般概

2、念§1.3信息论的起源、发展及研究内容§1.2信息的分类6信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”7花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；药有苦味，让人难以吞咽，药味是一种信息；听老师讲课可以得到许多知识，知识也是信息……。8色彩视觉果香嗅觉苦药味觉知识听觉总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知

3、信息。冷热触觉9那么信息究竟是什么呢？信息是事物之间的差异1信息是物质和能量在时间和空间中分布的不均匀性”2信息是负熵3信息是作用于人类感觉器官的东西410信息就是情报5信息就是知识。6数学家认为“信息是使概率分布发生改变的东西”7哲学家认为“信息是物质成分的意识成分按完全特殊的方式融合起来的产物”……。8111928年，美国数学家哈特莱(Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。12事隔20年，另一位美国数学家香农(C.E.Shannon)在《贝尔系统

4、电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义；他认为“信息就是一种消息”。13美国数学家、控制论的主要奠基人维纳(Wiener）在1950年出版的《控制论与社会》一书中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。但正是这句话揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。14最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。在

5、这个层次上定义的信息是最广义的信息，使用范围也最广。15例如，引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。16全信息同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。17信息存在于自然界，也存在于人类社会，其本质是运动和

6、变化。可以说哪里有事物的运动和变化，哪里就会产生信息。人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。18综合起来，信息有以下主要特征：信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。信息来源于精神世界，但又不局限于精神领域。1219信息与能量息息相关，但又与能量有本质的区别。信息具有知识的本性，但又比知识的内涵更广泛。信息可以被认识主体获取和利用。34520根据上述特

7、征和信息的基本定义，可以导出信息的一些重要性质：存在的普遍性有序性相对性可度量性可扩充性可存储、传输与携带性21信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。可压缩性可扩散性可替代性可共享性时效性信息的独有性质22§1.1信息的一般概念§1.3信息论的起源、发展及研究内容§1.2信息的分类23按照信息的性质1语法语义语用按照观察的过程实在先验实得224客观主观按照信息的地位按照信息的作用有用无用干扰34

8、25真实虚假不定按照信息的逻辑意义按照信息的传递方向前馈反馈5626宇宙自然社会思维工业农业军事政治科技文化经济市场管理按照信息的生成领域7按照信息的应用部门827语声图象文字数据计算电磁语声图象文字光学生物按照信息的来源9按照信息载体的性质1028连续离散半连续按照携带信息的信号的性质1129在众多的分类原则和方法中，最重要的就是按照信息性质的分类。按照性