中南大学信息论与编码第一章信息绪论

《中南大学信息论与编码第一章信息绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、应用信息论参考教材：《应用信息论》朱雪龙主编清华大学出版社主讲：梁建武Mail:Liangjw@csu.edu.cnTel:13973118003有关事项讲课:（概念、方法、实际应用）自学:（数学推导、定理证明）考试：基本概念、基本计算、实际应用平时成绩：上课情况成绩：考试成绩+平时成绩课程概况目的：了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础特点：以信息理论为中心，区别与“信源编码”、“信道编码”以概念和物理意义为主，数学推导尽量放到课外结合通信系统实际应用第一章绪论信息论的基本问题-香农信

2、息的度量无失真信源编码定理-香农第一定理信道编码定理-香农第二定理限失真信源编码定理-香农第三定理应用信息理论引言1《信息论》的内容引言：自香农提出信息理论以来，对通信技术的发展产生了持久和深刻的影响，但对其它方面，则很少有理论指导作用。正因为此，人们对更广泛意义下的信息研究一直未停止。1957年——最大熵原理理论（E.T.Jaynes）1959年——1980年，鉴别信息及最小鉴别信息原理理论1965年——信息量度定义的三种办法—概率法，组合法，计算法1968年——1987年，算法信息理论这些成果大大丰富了信息理论的概念办法、应用应用信息理论2信息论基础

3、的重要性信息论是信息科学和技术的基本理论,信息科学大厦的地基。没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情;就不可能站在本学科的边缘。（必学、选学、跳学）总之,信息论是高层次信息技术人才必不可少的基础知识。3教学目标充分理解、熟练掌握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描述通过学习和习题练习，具备一定的解决问题分析问题的能力掌握一定的科学思想方法(用信息论的思想和观点)和怎样描述4学信息论意义信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信

4、息领域的科研和创新。要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。1.1什么是信息信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。广泛性客观世界充满着信息人类离不开信息知识、书本是有用信息的积累抽象性信息是组成客观世界并促进社会发展的最基本的三大要素之一。三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能

5、量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1…U

6、l…UL)连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω)信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同样，同一信号形式，比如“0”与“1”可

7、以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。信息的主要特征信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在；信息来源于精神世界，但又不局限于精神领域；信息与能量息息相关，但又与能量有本质的区别；信息具有知识的本性，但又比知识的内涵更广泛；信息可以被主体获取和利用。信息的重要性质存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性。信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的财富。香农信息(概率信

8、息)信息是事物运动状态或存在方式的不确定性的描述。在通信系统中形式上传输的是消息