第二章 离散信源与信息熵(上)

《第二章 离散信源与信息熵(上)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《信息论基础》《ElementsofInformationTheory》北京交大计算机与信息技术学院信息科学研究所现代信号处理与通信研究室教学九楼六层北606主讲：丁晓明TEL:51688636;ftp://202.112.147.192/sopc;ssopcEmail—xmding@bjtu.edu.cn«信息论基础»第二章：信息的度量与信息熵(ThemeasureofInformation&Entropy)§2.1自信息与条件自信息(self—information&conditionalself—information)§2.2自互信息与条件自互信息(

2、self—mutualinformation&conditionalself—mutualinformation)第二章.信息的度量与信息熵§2.1自信息与条件自信息(self—information&conditionalself—information)§2.1.1自信息(自信息量)若一随机事件的概率为p(x),它的自信息的数学i定义为：defI(x)logp(x)ii首先解释一下自信息与自信息量的区别：信息是概念上的涵义，而信息量则是有单位，有数值大小的量。自信息则是一个具体事件的不确定度，而自信息量应是不确定度的解除量，二者仅在该事件完全确知后信

3、息量才等于自信息。换句话说：自信息反映的是随机事件的不确定度完全被解除后的信息量。自信息为什么一定是这样的定义？是否一定是对数形式？§2.1自信息与条件自信息因为信息是与随机事件的不定度密切相关，所以它的度量应是事件概率的函数。设：Ixifpxifpi这里f表示任意的数学函数，但它要符合人们的习惯和客观规律，那么它就必须应该满足以下几个基本条件，（一般我们称为公理化条件；所谓公理，即无法用前面的定理所推论的定理。）(axiomaticconditions)1.f[pi]应该是概率的单调递减函数，即当p1>p2时则；f(p)

4、p)122.当p(xi)1时，则f[pi]＝0；3.当p(xi)0时，则f[p]＝;i§2.1自信息与条件自信息4.两个独立的随机事件xi和yj，它们联合事件的自信息，应是它们各自信息的和，即：I(xy)I(x)I(y)f[p(x)]f[p(y)]ijijij要保证f[]的函数形式对上述四个公理化条件均满足，则此函数一定是对数形式；这就是定义的唯一性定理(uniqueness)。def1因此：f[p]logplogI(p)iiipi0p1I(p)0ii1当p(x)，则I(x)logniin§2.1自信息与条件自信息例2—

5、1一副充分洗乱了的扑克牌(所给的牌是52张)，试问：1.任意一副特定排列所给出的自信息是多少？2.若从中抽取十三张牌，当给出的点数均不相同时可得到多少信息量？题解：任意一特定排列，即意味着第一张牌的取法有52种；第二张牌的取法有51种；……。一共有52!种排列，所以每一种排列的概率为：1p(x)i52!1.I(x)log[p(x)]log[52!]225.581bitii22.若从m个元素中抽取n个元素m!nCm的取法就是组合：n!(mn)!§2.1自信息与条件自信息1352!C就是从52张牌中抽取13张牌的取法5213!39!又因为要保

6、证所抽取的牌中点数均不相同，则可设想以下排列，每一点数有四种花色；根据点数的位置构成13张的排列数：1，2，3，4，……,134•4•4•4……•4=134134def所以13张点数不同牌的抽取概率为：p(x)pi13i13C452则：I(p)logplogii13C521352!logC13log4log[]2652213!39!13.208bit§2.1自信息与条件自信息§2.1.2条件自信息(conditionalself-information)定义：I(xi)deflog[p(xi)]yjyjx为条件自信息，同样有：I(i

7、)0yj定义所表达的是一个联合事件xy，在某一个变量x(或y)被确知之后，另一个变量y(或x)还剩下的不确定度；或者说另一个变量y(或x)将还能带给接收者多么大的信息量。例2－2棋盘与棋子题解：设前在提一，正当方棋形子棋落盘入上棋共盘有的64位个置棋是格任,如意甲的随；意若将将棋棋子盘放的入行一数格中让乙猜棋子落入位置，（1）若将棋格按顺序编号，令乙猜编测号棋为子x所i，在棋棋盘格的的列顺数序编号号？为（2y）j；若则棋棋格子按落行入与任列何编一号格，的当概甲率将均相棋等子，所为在：的行号p(（xiy列j)号）1告诉乙后，在令乙猜棋子的位置？64Ixi

8、yjlog2646bit§2.1自信息与条件自