单符号离散信源

《单符号离散信源》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章单符号离散信源第一节信源的数学模型信宿信道信源图1.1通信的简化模型信源：单符号多符号1.离散连续2.信源：随机符号的集合离散：信源由有限个或无限可列的符号组成单符号：一个符号代表一个完整的消息数学模型的建立：例2.1掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机实验的结果，并把实验结果看作一个信源的输出，试建立数学模型。A：{1，2，3，4，5，6}——状态空间离散随机变量XP：{p(X=1)=1/6，p(X=2)=1/6，…，p(X=6)=1/6}——概率空间信源的数学模型：[X•P]=X：123456P(X)：1

2、/61/61/61/61/61/6信源空间一般单符号信源的数学模型：设有r种符号的单符号离散信源状态空间为A：{a1，a2，…，ar}，概率空间为P:{p(a1)，p(a2)，…，p(ar)}，其数学模型可表示为：[X•P]:X:a1a2…arP(X):p(a1)p(a2)…p(ar)例2.2在一个箱子中，有红、黄、蓝、白四种不同颜色的彩球，大小、质量和重量完全一样，其中红球16个，黄球8个，蓝球和白球各4个，若把从箱子中任意摸出一个球的颜色的种类作为信源，试建立其数学模型。[X•P]:X:红黄蓝白P(X):1/21/41/81/8第二节自信息和信息函数[

3、X•P]:X:a1a2…arP(X):p(a1)p(a2)…p(ar)aibj收到bj后，从bj获得关于ai的信息量I(ai;bj)=[收到bj前，对ai存在的不确定性-收到bj后，对ai存在的不确定性]aiai无噪收到ai后，从ai获得关于ai的信息量I(ai)=[收到ai前，对ai存在的不确定性]自信息量I(ai)=ai的不确定性I(ai)=f[p(ai)](i=1,2,…,r)公理性条件：(1)如p(a1)>p(a2)，则I(a1)

4、]→∞;(3)如p(ai)=1，则f[p(ai)]=0;(4)两个统计独立事件的联合信息量，应等于它们各自信息量之和：I(ab)=I(a)+I(b)自信息量函数：I(ai)=f[p(ai)]=-logp(ai)信息函数中对数log的底：log?p(ai)2bitenat10hat一般假定以2为底，记为log例2.1假设一次掷两个各自均匀、互相不可区分又互不相关的骰子。如事件A、B、C分别表示：（A）仅有一个骰子是3；（B）至少有一个骰子是4；（C）骰子上点数的总和为偶数。试计算事件A、B、C发生后所提供的信息量。解：事件A、B、C发生的概率分别为：p(A)

5、=nA/N=5/18p(B)=nB/N=11/36p(C)=nC/N=1/2A、B、C所提供的信息量分别为：I(A)=-logp(A)=1.8480bitI(B)=-logp(B)=1.7105bitI(C)=-logp(C)=1bit例2.2设有n个球，每个球都以同样的概率1/N落入N个阁子（N≥n)的每一个阁子中。假定：（A）某指定的n个阁子中个各落入一个球；（B）任何n个阁子中各落入一球。试计算事件A、B发生后所提供的信息量。解：事件A的概率：bit事件A发生提供的信息量：事件B的概率：bit事件B发生提供的信息量：第三节信息熵自信息量函数研究单独一

6、个事件或单独一个符号的信息量是不够的，往往需研究整个事件序列或符号序列的平均的信息量。p(a1)→I(a1)p(a2)→I(a2)p(ar)→I(ar)确定量1.I(ai)→特定的具体符号→-logp(ai)2.ai的非确定性；平均意义上（求自信息量的数学期望）：Hr(X)=p(a1)I(a1)+p(a2)I(a2)+…+p(ar)I(ar)=-p(a1)logrp(a1)-p(a2)logrp(a2)-…-p(ar)logrp(ar)信息熵，信源熵或香农熵信息单位/信符信息熵（简称熵）的物理含义：1.信源输出后，每个离散消息提供的平均信息量。2.信源输出

7、前，信源的平均不确定性信息→消除不确定性→H(X)为负熵3.反映了变量X的随机性如果取以2为底的对数，H(X)的单位是比特/符号例2.3[X•P]=X：12P(X)：p1-p(0≤p≤1)讨论：1.p=0.5时；H(X)=-0.5log0.5+(-0.5log0.5)=1bit/信符2.p=0，1-p=1（或p=1，1-p=0）时；H(X)=-0log0+(-1log1)=0bit/信符例2.4计算英文信源的信息熵解：设26个字母和空格共27个符号等概出现bit/字母例2.5设某甲地天气预报为：晴(1/4)、阴(1/4)、雨(1/4)、雪(1/4)，某乙地

8、天气预报为：晴(1/2)、雨(1/2)，试求两地天气预报各提供的平