[理学]信息论第1章

《[理学]信息论第1章》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础必修：17*3,3学分，闭卷考试2021/8/301教材《信息论与编码理论》王育民、李晖、梁传甲编著，高等教育出版社2021/8/302本专业毕业生要求毕业生应获得以下几方面的知识和能力：1．具有扎实的数学基础，掌握信息科学和计算科学的基本理论和基本知识；2．能熟练使用计算机(包括常用语言、工具及一些专用软件)，具有基本的算法分析、设计能力和较强的编程能力；3．了解某个应用领域，能运用所学的理论、方法和技能解决某些科研或生产中的实际课题；4．对信息科学与计算科学理论、技术及应用的新发展有所了解；5．掌握文献检索、资料查询的基本方法，具有一定的科学研究

2、和软件开发能力。8/30/20213信息科学与计算科学两大方向计算科学信息科学信息获取，信息传输，信息处理和信息应用。信息技术的四基元。学科子方向：信息处理，信息编码与信息安全，计算智能，自动控制8/30/20214信息论的基本问题信息论研究的是关于这个通信系统的最根本、最本质的问题。例如：①什么是信息？如何度量信息？②怎样确定信源中含有多少信息量？③对于一个信道，它传输信息量的最高极限（信道容量）是多少？④为了能够无失真的传输信源信息，对信源编码时所需的最少的码符号数是多少？（无失真信源编码即香农第一定理）⑤在有噪信道中有没有可能以接近信道容量的信息传输率传

3、输信息而错误概率几乎为零？（有噪信道编码即香农第二定理）⑥如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？（限失真信源编码即香农第三定理）8/30/20215信息定义信息是信息论中的一个术语，常常把消息中有意义的内容称为信息2021/8/306相关概念比较信息不同于消息，消息是信息的外壳，信息则是消息的内核，也可以说:消息是信息的笼统概念，信息则是消息的精确概念;信息不同于信号,信号是信息的载体，信息则是信号所载荷的内容;信息不同于数据，数据是记录信息的一种形式，同样的信息也可以用文字或图像来表述。当然，在计算机里，所有的多媒体文件都是用数据表

4、示的、计算机和网络上信息的传递都是以数据的形式进行，此时信息等同于数据;信息不同于情报，情报通常是指秘密的、专门的、新颖的一类信息，可以说所有的情报都是信息，但不能说所有的信息都是情报:信息也不同于知识，知识是由信息抽象出来的产物，是一种具有普遍的和概括性的信息，是信息的一个特殊的子集，也就是说:知识就是信息，但并非所有的信息都是知识。8/30/20217信息的功能信息的基本功能在于维持和强化世界的有序性，可以说，缺少物质的世界是空虚的世界，缺少能量的世界是死寂的世界，缺少信息的世界是混乱的世界。信息的社会功能则表现在维系社会的生存，促进人类文明的进步和人类自

5、身的发展:8/30/20218信息技术信息技术是指在计算机和通信技术支持下，用以获取、加工、存储、变换、显示和传输文字、数值、图像、视频、音频以及语音信息，并且包括提供设备和信息服务两大方面的方法与设备的总称。其过程可用图表示。8/30/202198/30/202110信息论——通信原理通信的目的是在接收端精确地或以限定的失真重现发送的消息。8/30/202111第一章：引论（简介）一、通信系统模型二、Shannon信息论的中心问题三、Shannon信息的概念四、概率复习内容2021/8/3012一、通信系统模型信源、信道、信宿信源是消息的来源，信道是消息传送

6、媒介，信宿是消息的目的地。信源编码器信道译码器信宿干扰源2021/8/3013通信系统模型进一步细分信源信源编码器纠错编码器调制器信道干扰源解调器信道译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率对信源输出进行变换，求得有效性对信源编码输出变换，提高抗干扰性将信道编码输出变成适合信道传输的方式信号从发端传到收端的介质信道的中心问题是研究信道的统计特性和传信能力，即信道容量系统各部分引入的干扰，包括衰落，多径，码间干扰，

7、非线性失真，加性噪声。这种干扰源的统计特性是划分信道的重要因素，并且是决定其传输能力的决定因素。译码器：编码器的逆变换中心问题是研究各种可实现的解调和译码方法信息的接收者2021/8/3014最后的划分可使信源编码集中于解决传输的有效性问题，而信道编码集中于解决抗信道干扰和失真问题，即解决传输的可靠性问题，从而简化了研究。以上划分适合两用户（或终端）之间的单向通信情况。还有多用户通信系统，我们不研究。2021/8/3015信息、消息和信号信息一个抽象的概念，可以定量的描述。是系统中传送（或存储、处理）的对象，它包含在消息之中。信息、物质和能量是构成一切系统的三

8、大要素消息是信息的载体，是比较具体的，