信息论基础——自信息量

《信息论基础——自信息量》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、复习相结合逐步发展而形成的一门新兴科学奠基人：美国数学家香农（C.E.Shannon）1948年“通信的数学理论”信息论通信技术概率论随机过程数理统计（1）信息是可以识别的（2）信息的载体是可以转换的（3）信息是可以存贮的（4）信息是可以传递的（5）信息是可以加工的（6）信息是可以共享的信息具有以下特征1.1自信息通信系统模型信源的分类概率论基础信息的可度量性自信息熵信源：产生消息和消息序列的来源。通常信源的消息序列是随机发生的，因此要用随机变量来描述。通信系统模型编码器：把消息变换成适合于信道传输的信

2、号。信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。通信系统模型调制器：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。通信系统模型解调器：从载波中提取信号，是调制的逆过程MODEM通信系统模型信道：信号由发送端传输到接收端的媒介。典型的传输信道有电缆、高频无线信道光纤通道等；典型的存储媒介有磁芯、磁盘、磁带等。通信系统模型干扰源：对

3、传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；通信系统模型信道译码器：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。信源译码器：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。通信系统模型信宿：消息传送的对象（人或机器）。通信系统模型在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然，在通信中被利用的(亦即携带信息的)实际客体是不重要的，而重要的是信息。通信的结果是消除或部

4、分消除不确定性从而获得信息。通信系统模型信源的分类按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类{信源离散信源连续信源连续信源连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。离散信源离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。信源的分类{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫

5、信源离散信源信源的分类离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。离散有记忆信源所发出的各个符号的概率是有关联的。{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源离散信源信源的分类信源每次只发出一个符号代表一个消息；信源每次发出一组含二个以上符号的符号序列代表一个消息。{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的

6、无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源离散信源信源的分类用信源发出的一个符号序列的整体概率（即联合概率）反映有记忆信源的特征某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号۩符号的先验概率：一个离散信源发出的各个符号消息的集合为，它们的概率分别为，为符号的先验概率。知识回顾--概率论基础,显然有通常把它们写到一起，称为概率空间：۩概率空间知识回顾--概率论基础设X取值{x1,x2,…,xi,…,xn}，Y取值{y1,y2,…,yj,…,ym}，则＊联合概率p

7、(xiyj)——X取值xi,Y取值yj同时成立的概率＊条件概率p(yj/xi)——X取值xi条件下,Y取值yj的概率＊条件概率p(xi/yj)——Y取值yj条件下,X取值xi的概率知识回顾--概率论基础[性质]知识回顾--概率论基础1.1自信息通信系统模型信源的分类概率论基础信息的可度量性自信息熵通信系统模型{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源离散信源,其中离散无记忆信源—数学模型集合X中，包含该信源包含的所有

8、可能输出的消息，集合P中包含对应消息的概率密度，各个消息的输出概率总和应该为1。〉1）中国女子乒乓球队夺取亚运会冠军。2）中国男子足球队夺取世界杯赛冠军。信息的可度量性（1）既然不确定性的大小能够度量，所以信息是可以度量的某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻