资源描述：
《二信息地度量修改(最终).ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、信息论基础信息的度量HowtomeasureInformation?本章内容•信息及其度量•平均信息量-熵•通过信道的平均信息量-互信息量•信息不增原理•各种信息量之间的关系•连续随机变量的信息度量参考书：沈振元等，“通信系统原理”，第11章（PP412-437)戴善荣,“信息论与编码基础”,第2章§1信息及其度量消息、信息与信号信息蕴含于消息之中，信号是消息的外在表现形式。信息的定义[信息]事件本身所含有的不肯定性，或者说获得某事件发生时所排除的不肯定性。信息量与什么因素有关？•不确定性的大小（发生的概率）•主观因素（不考虑）信息的度量概率p
2、越小，信息量越大•信息量是概率的单调递减函数•具有可加性例1-1将一个棋子随机地落入一个8x8的棋盘，分别用两种方法猜，看落到哪一个格子里：一是直接猜，二是先猜行，后猜列。[定义]（自）信息量定义为I=log1/p=-logpp是事件发生的概率。单位：•以2为底-比特（bit）•以e为底-奈特（Nat）•以10为底-哈特莱（Hartley）关系：log2P=1.443lnPlog2P=3.322log10P例1-2从26个英文字母中，随机地取一个字母，则选取一个字母的自信息量为从0,1…9十个数字中，随机地取一个数字的自信息量为例1-3随机地选
3、取一个包括m位的二进数。由于每一位有“0”或“1”两种可能，共有2中等可能的方式。于是§2平均信息量-熵，最大熵，冗余度1平均信息量-熵（Entropy）：（信源熵）一个离散信源S由K个符号组成withprobabilitiesSsssK={},,...,12各符号出现的概率分别为则其平均信息量为:称之为信源熵。则其熵为例2-4某信源输出四个符号，其符号集合系统为可以直观地看出，此例中当四个符号出现的概率相等，即时，其平均信息量或熵值将会最大，且为一般言之，当一个消息序列中m个消息出现的概率相等时，则具有最大的信息量，记为H0称为信息的最大含量
4、（德文为Entscheidungsgehalt）它与实际平均信息量之差称为剩余度ΔH，即例2-5根据统计，英文，德文和俄文字母及空格在文献书籍中出现的概率如表2-2所以，试计算它们的平均信息量和最大信息含量。英文字母：H(X)=4.03比特/字母H0=log27=4.75比特/字母德文字母：H(X)=4.037比特/字母H0=log27=4.75比特/字母俄文字母：H(X)=4.35比特/字母H0=log32=5比特/字母2熵的性质：(1)连续性：某事件的概率稍微变化时，H也只做连续的、非突变性的变化；(2)对称性：Pi交换位置后，H值位置不变
5、；(3)非负性：H的值一定大于或等于零；(4)确定性：当事件集中某个事件出现的概率为1，其余事件的概率为0时，H的值一定为0；(5)可加性：设有一个事件的集合{E1，E2，…,En},各事件出现的概率分别为{P1，P2，…,Pn},其中某一事件En又划分为由m个小事件，概率分别为q1,q2,…,qm,且qi/Pn=1,则三个熵函数H1=H（P1，P2，…,Pn)H2=H（P1，P2，…,Pn-1;q1,q2,…,qm)H3=H（q1/Pn,q2/Pn,…,qm/Pn)之间具有相加关系：H2=H1+PnH3含义：集合的进一步细分会使不确定性增加
6、，即平均信息量增加。(6)极值性：3最大熵：（1）离散信源在所有符号等概出现时具有最大的平均信息量，即最大熵。证明：①预备知识：信息论不等式②以下再证明例2-7一个二进制信元X，两个符号出现的概率分别为p和1-p,其熵曲线如下图所示，（2）在平均功率受限条件下连续信源的最大熵（最大微分熵）：若信源输出的平均功率限定为S，则当信号的幅度的概率密度分布为高斯分布时有最大熵（参看课本p24）.高斯分布：最大熵：Hmax(x)=1/2log2eS4冗余度：冗余度=（最大熵-实际熵）/最大熵即思考（1）在一个二进制系统中，两个符号A、B分别用0、1来表
7、示，此时无冗余，若将其编码成000和111，问此时的冗余度是多少？（2）冗余度是否有用？信源编码、信道编码的作用是什么？作业：戴书:p.25#12§3信道特性、条件平均信息量与互信息量1问题：信源发出的信息量有多少能通过信道？有多少信息量受干扰而损失掉？2信道的描述：（1）信道模型：发端符号集：X={x1,x2,…,xn}收端符号集：Y={y1,y2,…,ym}转移慨率（xiyj的概率）：p(yj/xi)（2）信道噪声的干扰特性：用转移概率矩阵来描述（3）基本概率公式：3联合自信息量和条件自信息量设输入和输出都可以用离散概率空间来表示：X={
8、A，P}，其中A={ai};Y={B,Q},其中B={bj}A和B的联合空间定义为：AB={aibj;ai∈A,bj∈B,i=1,2,…,K;j=1,
