信息论与编码基础知识点总结.pdf

《信息论与编码基础知识点总结.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第一章绪论1、识记内容1、信息论是应用近代数理统计的方法研究信息传输、存储和处理的科学，是在长期通信工程实践中发展起来的一门新兴学科，亦称为通信的数学理论。2、信息论的奠基人是香农。3、1948年发表的《通信的数学理论》为信息论的诞生和发展奠定了理论基础。4、香农提出信息熵的概念，为信息论和数字通信奠定了基础。5、物质、能源、信息构成了现代社会生存发展的三大基本支柱。6、信息载荷在语言、文字、数据、图像等消息中。7、从本质上讲，信息是人们对客观事物运动规律及其存在状态的认识。8、信息的价值①为人们能动地改造外部世界提供了可能；②信息所

2、揭示的事物运动规律为人们应用这些规律提供了可能；③信息所描述的事物状态为人们推动事物想着有利的方向发展提供了可能。9、信息、消息以及信号之间的区别与联系①信息是人们对客观事物运动规律及其存在状态的认识。②消息是指包含有信息的语言、文字和图像等。③信号是消息的物理体现。10、载有信息的可观测、可传输、可存储及可处理的信号均称为数据。11、信息的基本概念是不确定性。其特征有①接受者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。②信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。③信息可以产生，也可以消失，同时

3、信息可以被携带，贮存及处理。④信息是可以度量的，信息量有多少的差别。12、信息论的形成与发展①信息早期的定义是由奈奎斯特和哈特莱在20世纪20年代提出来的；②1936年阿姆斯特朗提出增大宽带可以使抗干扰能力加强③香农在1941-1944对通信和密码进行深入研究，提出了信息熵的概念；④1948年，《通信的数学理论》发表，香农成为信息论的奠基人；⑤50年代信息论在学术界引起了巨大的反响；⑥60年代，信道编码技术有较大进展，使它成为信息论的又一重要分支；⑦此后，信息论发展成为涉及范围广泛的广义信息论，即信息科学。13、信息科学是研究信息产生

4、、获取、传输、存贮以及信息识别和利用等等有关问题的一门科学。14、①狭义信息论：又称香农信息论，主要研究信息的度量，信源和信道的特性以及有关编码的问题；②一般信息论：研究通信理论问题；③广义信息论：又称为信息科学，是以香农信息论和维纳控制理论作为理论基础，运用信息概念和信息方法来研究自然界和人类社会有关的信息问题的理论。15、香农信息论最大的特点是将概率统计的观点和方法引入通信理论的研究中，揭示了通信系统中传输的对象是信息，并对信息给出了科学的、定量的描述，指出通信系统设计的中心问题是在随机噪声的干扰下如何有效而可靠的传输信息。16、

5、通信系统的基本模型17、通信系统的基本任务要求①可靠：使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端。②有效：用尽可能短的时间和尽可能少的设备来传输最大的消息。18、通信系统的一些基本概念①信源：产生消息的源。可以用随机变量或随机过程来描述信息。②信宿：是消息的归宿，也就是消息传输的对象，即接收消息的人或者机器。③编码器：编码器是将信源发出的消息变换成适合于在信道上传输的信号的设备。执行提高信息传输的有效性和可靠性两项功能。信源编码器：目的在于提高信息传输的有效性。信道编码器：用以提高信息传输的抗干扰能力。④

6、信道：信道是将载荷着消息的信号从通信系统的发送端传送到接收端的媒质或通道。信道除了具有传输信号的功能，还具有存储信号的作用。⑤噪声源：是消息在传输过程中受到的干扰的来源。通信系统设计中的一个基本问题就是提高抗干扰能力。加性噪声：由外界引入的随机噪声。乘性噪声：信号在传播过程中由于物理条件的变化引起信号参量的随机变化而形成的噪声。⑥译码器：指编码的逆变换器。信道译码器是信道编码的逆变换器；信源译码器是信源编码的逆变换器。第二章信源和信息熵2、信源的特性和分类信源是消息的来源，可以是人、生物、机器或其他事物。分类定义数学模型特性描述信源

7、输出消息的随机离散信源变量在某一离散集合内取值的信源。描述信源输出消息的随机连续信源变量在某一连续区间内取值的信源。只输出一个消息符号。单符号信源离散信源和连续信源都是单符号信源。输出一系列符号。多符号序列信源输出的消息在多符号序列信源时间或空间任一点上每个符号的出现都是随机的，其取值也都可以是离散或连续随机变量。输出的消息是时间或空间随机序列信源上离散的一系列随机变量。输出的消息是时间或空间波形信源的连续函数且其取值也是连续的、随机的。随机矢量?⃗的各个分量??无记忆信源相互独立。条件概率分布随机矢量?⃗的各个随机变量??不是相互独

8、立的。条件概率密度函数随机矢量?⃗⃗中的分量??只与前面有记忆信源的有限个随机变量有关，则称为其中?为正整数，称为记忆有限记忆信源，否则为无限记忆阶数或记忆长度。相应的信信源。源称为?阶有记忆信源。3、离散信源的信息度量