信息论与编码第一章绪论

《信息论与编码第一章绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码主讲：许鸿奎副教授/博士山东建筑大学信息与电气工程学院电话：13808938626Email:xhkui2009@163.com2012年2月教材及参考书教材：曹雪虹、张宗橙，《信息论与编码》，清华大学出版社参考书：1.傅祖芸，《信息论—基础理论与应用》，电子工业出版社2.方军、俞槐栓，《信息论与编码》，电子工业出版社3.吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出版社4.姜丹，《信息论与编码》，中国科学技术大学出版社。。。。。。前修课程1、《概率论与数理统计》，概率的计算2、《线性代数》，矩阵及其运算，线性空间的概念后续课程1、语音信号处理2、数字图像处理通信

2、工程和电子信息工程专业的专业基础课考核方法：1、平时成绩：20%（包括考勤、作业、测验）2、期末考试：80%第一章绪论主要内容：信息论的形成和发展通信系统的模型信息论是关于信息的本质和传输规律的科学理论，是研究信息的度量、发送、传递、交换、接收和储存的一门新兴学科。它为各种具体的信息技术提供理论依据，而信息技术则以此为根据去研究如何实现、怎样实现的问题。信息论的定义：举例说明：电话通信中的PCM编码是一种具体的信息技术。语音信号以8KHz的速率抽样后，进行对数量化，然后进行8位二进制编码，变换成数字信号。这个过程叫做PCM(脉冲编码调制)。其理论基础就是信息论。又如：图像压缩哪些图

3、像文件格式？它们的大小？哪些压缩工具？为什么能压缩？如何压缩？理论依据为信息论信息的定义，不下百种，其中30多种比较典型、有代表性。它们从不同的角度对信息进行定义。可以归纳如下：1、用人们熟知的与信息有某种联系的概念来定义信息如：信息是消息；信息是数据。这种定义比较表面化，未反映信息的本质。消息可能含有信息，也可能不含任何信息，消息不是信息本身。（举例）一、信息的基本概念数据也是记录信息的一种形式，如：工资报表。但数据并不是信息的唯一形式，信息还可以表现为文字、图像等。2、用某些学科的专门术语和名词来定义信息如：信息是信号；信息是一种场。。。3、从控制论的角度来定义信息信息是控制的

4、指令，是与控制系统相联系的一种功能现象。4、从随机不确定性的角度来定义信息信息是指各个事物运动的状态及状态变化的形式。信息是事物运动状态或存在方式的不确定性的描述。（香农---信息论的奠基人）（举例：天气预报）5、从广义或哲学的角度来定义信息信息是事物之间的差异；信息就是信息，既不是物质，也不是能量。（维纳-----控制论的奠基人）第一次将信息上升到“最基本概念”。20世纪20年代奈奎斯特（Nyquist，H.瑞典—美国）和哈特莱（Hartley，L．V．R．美国）最早提出了信息的定义1924年奈奎斯特解释了信号带宽和信息速率之间的关系1928哈特莱最早研究了通信系统传输信息的能力

5、，给出了信息度量方法1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强1941～1944年香农用概率论的方法研究通信系统（通信中的数学理论），揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。二、、信息论的形成与发展50年代信息论在学术界引起了巨大的反响60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农1959年的文章(Codingtheoremsforadis

6、cretesourcewithafidelitycriterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。理论上还有突破吗？内奎斯特（香农）抽样定理信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识。消息是指包含有信息的语言

7、、文字和图像等，例如我们每天从广播节目、报纸和电视节目中获得各种新闻及其它消息。消息是具体的，它承载信息，但它不是物理性的。在通信中，消息是表示信息的符号或符号序列。信号是消息的物理体现，是信息的载体。为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。信号是物理性的，如电信号、光信号等。三、信息、消息和信号之间的关系信息论主要应用方向之一是通信领域。信源信源编码u加密密钥信道编码信道干扰源窃听者信道解码解密解密密钥信宿信源解码加密xyzZ’y