最新信息论基础第一章-绪论教学讲义ppt课件.ppt

《最新信息论基础第一章-绪论教学讲义ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论基础第一章-绪论实践性教学内容、要求及学时分配实验一：信道容量的迭代算法2学时实验二：Huffman编码2学时实验三：通信系统仿真4学时（备选题目：LZW压缩编码）国外参考教材T.M.Cover,FundamentalofInformationTheory?最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用?数学推导适中，强调概念，作为参考教材R.G.Gallager,InformationTheoryandReliableCommunication?数学推导较为艰深?作为提高

2、教材2.信息的通俗概念信息的通俗概念：消息就是信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为消息。研究内容形成和发展什么是信息通信系统模型第一章：绪论消息中包含信息，消息是信息的载体。2.信息的通俗概念（续1）信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的载体。信息信号消息研究内容形成和发展什么是信息通信系统模型第一章：绪论3.信息的狭义概念（香农信息）第一章：绪论研究内容形成和发展什么

3、是信息通信系统模型香农信息：信息是对事物运动状态或存在方式的不确定性的描述。通信的基本问题是在一点(信宿）精确或近似恢复另一点（信源）所选择的消息。————香农通信的过程就是消除不确定性的过程。3.信息的狭义概念（香农信息）（续1）第一章：绪论例1：甲袋红、白球各50个，乙袋红、白、蓝、黑球各25个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。研究内容形成和发展什么是信息通信系统模型3.信息的狭义概念（香农信息）（续2）第一章：绪论例2：

4、北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为“晴”和天气预报为“雪”，给人们带来的信息量。研究内容形成和发展什么是信息通信系统模型结论：不确定性的大小与事件发生的概率有关。3.信息的狭义概念（香农信息）（续3）第一章：绪论研究内容形成和发展什么是信息通信系统模型不确定性的大小与事件发生的概率有关因此，信息量可以表示为概率的函数。不确定性是概率的函数3.信息的狭义概念（香农信息）（续4）信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1，那么它包

5、含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。第一章：绪论研究内容形成和发展什么是信息通信系统模型3.信息的狭义概念（香农信息）（续5）某个消息的不确定性（含有的信息量）可以表示为：第一章：绪论研究内容形成和发展什么是信息通信系统模型信源的平均不确定性：3.信息的狭义概念（香农信息）（续6）第一章：绪论香农信息的优点：有明确的数学表达式，定量化与人们直观理解的信息含义一致不考虑收信者主观感受的不同，认为同一消息对任何收信者，所得信息量相同。研究内容形成和发展什么是信息通

6、信系统模型3.信息的狭义概念（香农信息）（续7）第一章：绪论香农信息的局限：没有考虑收信者的主观特性和主观意义研究内容形成和发展什么是信息通信系统模型4.信息的广义概念研究内容形成和发展什么是信息通信系统模型信息是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态变化的方式。语法信息语义信息语用信息第一章：绪论第一章：绪论一、什么是信息二、通信系统模型三、信息论的研究内容四、信息论的形成和发展1.通信系统模型2.提高通信系统的性能指标的措施1.通信系统模型研究内容形成和发展什么是信息通

7、信系统模型第一章：绪论图1通信系统模型1.通信系统模型（续1）信源编码器信道译码器信宿第一章：绪论研究内容形成和发展什么是信息通信系统模型1）信源研究内容：信源发出的消息的统计特性离散信源、连续信源、波形信源有记忆信源和无记忆信源平稳信源和非平稳信源信源产生信息的速率熵率第一章：绪论研究内容形成和发展什么是信息通信系统模型1.通信系统模型（续2）2）编码器编码器的功能：将消息变成适合信道传输的信号编码器包括：信源编码器信道编码器调制器第一章：绪论研究内容形成和发展什么是信息通信系统模型1.通信系统模型

8、（续3）第一章：绪论图2编码器的组成研究内容形成和发展什么是信息通信系统模型1.通信系统模型（续4）信源编码器：去除信源消息中的冗余度，提高传输的有效性。第一章：绪论研究内容形成和发展什么是信息通信系统模型1.通信系统模型（续5）信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。第一章：绪论研究内容形成和发展什么是信息通信系统模型图3信道编码示例1.通信系统模型（续6）第一章：绪论研究内容形成和发展什么是信息通信系统模型思考题：信源编码去除冗