信息论编码 田宝玉chapter2

《信息论编码 田宝玉chapter2》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章离散信息的度量§2.1自信息和互信息★自信息自信息联合自信息条件自信息★互信息互信息互信息的性质条件互信息§2.1.1自信息★事件集合X中的事件的自信息：简记其中：1），2）？对数的底数大于1符号约定{{关于对数底的选取§2.1.1自信息★自信息为随机变量★自信息的含义包含两方面：2.1例箱中有90个红球，10个白球。现从箱中随机地取出一个球。求：（1）事件“取出一个红球”的不确定性；（2）事件“取出一个白球”所提供的信息量；（3）事件“取出一个红球”与“取出一个白球”的发生，哪个更难猜测？（1）设表示“取出一个红球”的事件，

2、则故事件的不确定性为：比特（2）设表示“取出一个红球”的事件，则故事件所提供的信息量为：比特（3）因为，所以事件“取出一个白球”的发生更难猜测。解：联合自信息★事件集合XY中的事件的自信息：简记其中：1）p(xy)要满足非负和归一化条件2.1(续)例箱中球不变，现从箱中随机取出两个球。求：（1）事件“两个球中有红、白球各一个”的不确定性；（2）事件“两个球都是白球”所提供的信息量；（3）事件“两个球都是白球”和“两个球都是红球”的发生，哪个事件更难猜测？三种情况都是求联合自信息。设x为红球数，y为白球数。解：(1)比特(2)比特(3

3、)比特因为，所以事件“两个球都是白球”的发生更难猜测。条件自信息简记p(x

4、y)要满足非负和归一化条件★事件给定，事件的自信息：★条件自信息的含义包含两方面：★自信息、条件自信息和联合自信息之间的关系I(xy)=I(x)+I(y

5、x)=I(y)+I(x

6、y)2.1(续)例箱中球不变，现从箱中先拿出一球，再拿出一球，求：（1）事件“在第一个球是红球条件下，第二个球是白球”的不确定性；（2）事件“在第一个球是红球条件下，第二个球是红球”所提供的信息量。这两种情况都是求条件自信息，设r表示红球，w表示白球。解：(1)比特(2)比特2.2例

7、有8×8=64个方格，甲将一棋子放入方格中，让乙猜：1）将方格按顺序编号，让乙猜顺序号的困难程度为何？2）将方格按行和列编号，当甲告诉乙方格的行号后，让乙猜列顺序号的困难程度为何？解：两种情况下的不确定性1)I(xy)=log264=6bit2)I(x

8、y)=-log2p(x

9、y)=-log2(1/8)=3bit§2.1.2互信息★互信息★互信息的性质★条件互信息互信息简记通过计算★离散随机事件之间的互信息：或I(x;y)与I(x

10、y)的区别？互信息性质★互易性★当事件x，y统计独立时，互信息为0，即I(x;y)=0★互信息可正可负

11、★任何两事件之间的互信息不可能大于其中任一事件的自信息设e表示“降雨”，f表示“空中有乌云”，且P(e)=0.125，P(e

12、f)=0.8求：1）“降雨”的自信息2）“空中有乌云”条件下“降雨”的自信息3）“无雨”的自信息4）“空中有乌云”条件下“无雨”的自信息5）“降雨”与“空中有乌云”的互信息6）“无雨”与“空中有乌云”的互信息2.3例这两种情况都是求条件自信息，设r表示红球，w表示白球。解：1)I(e)=-log0.125=3bit2)I(e

13、f)=-log0.8=0.322bit3)I()=-log0.875=0.193bi

14、t4)I(

15、f)=-log0.2=2.322bit5)I(e；f)=3–0.322=2.678bit6)I(；f)=0.193–2.322=-2.129bit条件互信息除条件外，条件互信息的含义与互信息的含义与性质都相同★设联合集XYZ，在给定z∈Z条件下x(∈X)与y(∈Y)之间的互信息定义为：§2.2信息熵★信息熵的定义与计算★条件熵与联合熵★熵的基本性质I(x)为事件x的自信息表示对随机变量x用p(x)来进行取平均运算熵的单位为比特（奈特）／信源符号信息熵的定义与计算★离散信源X的熵定义为自信息的平均值,记为H(X)★信

16、源输出前信源的平均不确定性★信源输出后一个信源符号所提供的平均信息量★表示信源随机性大小：H（X）大的，随机性大★信源输出后，不确定性就解除解除信源不确定性所需信息量信息熵H(X)的含义一电视屏幕的格点数为500×600=300000，每点有10个灰度等级，若每幅画面等概率出现，求每幅画面平均所包含的信息量2.4例解：可能的画面数是多少？代入公式：2.5例A、B两城市天气情况概率分布如下表：晴阴雨A城市0．80．150．05B城市0．40．30．3问哪个城市的天气具有更大的不确定性？所以，B城市的天气具有更大的不确定性。解：2

17、.6例有甲、乙两箱球，甲箱中有红球50、白球20、黑球30；乙箱中有红球90、白球10。现做从两箱中分别随机取一球的实验，问从哪箱中取球的结果随机性更大？解：设A、B分别代表甲、乙两箱，则所以，从甲箱中取球的结果随机性更大。信息熵的计