信息论1章 绪论

《信息论1章 绪论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第1章绪论信息论哈尔滨工业大学（威海）计算机科学与技术学院刘杨llyy.2000@yahoo.com.cn主要内容•信息论简介•信息的概念•信息论研究的对象、目的和内容•信息论的发展简史与现状2信息论简介•1948年，香农发表《通信的数学理论》•通信技术+概率测度+数理统计+随机过程•香农理论的核心：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理3ClaudeShannonShannonwasthepersonwhosawthatthebinarydigitwasthefundamentalelementinallofcom

2、munication.Thatwasreallyhisdiscovery,andfromitthewholecommunicationsrevolutionhassprung.RGGallagerClaudeShannon,1916-20014第一章绪论•信息论简介•信息的概念•信息论研究的对象、目的和内容•信息论的发展简史与现状5信息的概念•知识、情报、消息、信号、信息区别？联系？6知识•知识：是人们根据某种目的，从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息•以实践为基础，通过抽象思维，对客观事物规律性的概括•是人类社会中客观存在的部分信息

3、7情报•情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识•是一类特定的信息8消息•消息：把客观物质运动和主观思维活动的状态用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式表达出来，就构成了消息•消息具备两个条件：–能够被通信双方感知和理解–可以传递9奥巴马当选为美国总统10消息和信息的关系•消息是信息的载体–同一则信息可由不同形式的消息来承载–一则消息也可以承载不同的信息11信号•信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声信号、生物信号等）•信号是一个物理量，可测量、可描述、可显示，他携带着消息，是消息

4、的运载工具•信号是承载消息的实体，信号是外壳，消息是内核12信号、消息和信息的关系信号消息信息13通信系统模型消息+消息干扰或噪声信源信道信宿发送者干扰或噪声收信者14信息的概念•1928年，哈特莱(R．V．LHartley)在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式•局限性：–定义不涉及到信息的价值和具体内容，只考虑选择的方式–即使考虑选择的方法，但没有考虑各种可能选择方法的统计特性15信息的概念•1948年，维纳(N．Wiener)在《控制论--动物和机器中通信与控制问题》一书中，出：“信息是信息，不是物质，也不是能量”.将“信息

5、”上升到“最基本概念”的位置后来，维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称”•局限性：–把信息与物质、能量混同起来.所以，维纳关于信息的定义是不确切的16香农信息的概念•传输过程中的特点：–收信者在收到消息前，不知道消息的具体内容–收信者在收到消息前，无法判断是描述这种状态还是描述那种状态–收信者在收到消息后，由于干扰的存在，不能判定所得到的消息是否正确和可靠17香农信息的概念•信息：是事物运动状态或存在方式的不确定性的描述•通信的结果是：消除或部分消除不确定性从而获得信息•通信系统：

6、形式上传输的是消息实质上传输的是信息18香农信息的概念•优点：–它是一个科学的定义，有明确的数学模型和定量计算–它与日常用语中的信息的含义是一致的–它排除了对信息一词某些主观上的含义19香农信息的概念•局限性：–定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往是非常困难的.有时是否存在这样一种模型还值得探讨–定义没有考虑收信者的主观特性和主观意义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素.这就与实际情况不完全一致.其实，信息有很强的主观性和实用性20香农信息的度量•不确定性的大小能否度量？•某一事物状态

7、的不确定性的大小，与该事物可能出现的不同状态数目及各状态出现的概率大小有关•不确定性的大小可度量→信息可度量21与信息测度相关的几个概念•样本空间：所有可能选择的消息的集合（某事物所有可能出现的状态）•概率空间：一个样本空间和它的概率测度，可用[X，P]来表示,例：⎡X⎤⎡a1,a2,L,aq⎤⎢⎥=⎢⎥⎣P(x)⎦⎣P(a1),P(a2),L,P(aq)⎦•先验概率：选择符号a作为消息的概率----P(a)ii1•自信息：ai本身携带的信息量：I(ai)=logP(ai)22与信息测度相关的几个概念•