信息科学基础讲义三卷

《信息科学基础讲义三卷》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、周次：第5次时间：2007年9月18

2、

3、章节：第2章信息的统计度量P14〜31作业：2.10,2.15,2.17,2.18提纲：三、爛1.定义2.含义3.联合、条件4.性质1）非负性2）对称性3）确定性4）扩展性5）最大嫡定理6）可加性7）强可加性8）极值性9）上凸性10）递增性诸位同学，大家上午好！咱们开始上课，在开始新的内容之前，按照惯例咱们先把上次课的内容复习一下。上次课的内容是第二章信息的统计度量，讲了一个大问题？是什么？(互信息量)课前冋顾。大家需要掌握的问题有这样几个。1、流经信道的信息量是如何度量的？2、互信息量的公式是什

4、么？3、互信息量的含义是什么？4、互信息量的三个表达形式是什么？5、联合互信息量和条件互信息量的公式分别是什么？6＞互信息量的性质分别是什么？分别说明它们的含义。好，这些问题都是上次课的重点内容，希望大家能够掌握。咱们开始今天的内容。前面课程讲到了自信息量，它是信源发出某个符号所携带的信息量大小，信源各个符号的概率不同，因此每个符号所携带的信息量大小怎么样？也各不相同。因此自信息量也是一个随机变量，随着信源发出符号的不同而变化。现在我们想要找到一个能够对信源信息量进行整体度量的方法，而不是仅考虑单个符号的信息量。也就是说，我们要解决的问

5、题是：从整体上信源有多少不确定度或者多少信息量。这样我们就——引题不同概率分布的信源，从总体上对它们的信息量进行比较。八广虫『/fll信息虽如何从请问，这个问题怎么解决？你们有类似的经验吗？举一个例子，假设有两个班，学生数不—每位学生的信息论期末成绩可能各不相同。要从整体上比较这两个班的考试成绩，应该怎么办？一个学生、一个学生的比显然比不出来，人数还不一样多。怎么比？对，用平均成绩的办法进行比较。同样道理对信源信息量大小进行整体度量也用平均信息量的概念，也就是爛entropy。只是对于这个平均数的计算，我们需要特别说明一下。大家接触比较

6、多的就像计算平均成绩一样，先把各个分量求总和，然后除以总数，这称为算术平均数。公式：如果随机变量的n个取值，且都是等概率出现的。算术平均数可以反映整体状况，如果n个取值的概率不同，我们应该把概率考虑进去，这个时候平均数等于每个分量乘以它的概率再求和，称为加权平均数，或者随机变量的数学期望。公式：E(X)=^lxjp(xi)=xip(xi)+x2p(x2)+...+xnp(xn)你会看到算术平均数其实是加权平均数的特例，当随机变量等概率分布时p(x,)=Un,算术平均数与加权平均数相等。我们对信源计算信息量的时候就使用加权平均数，一定要考

7、虑符号的概率，我们知道概率小的信息量大，但是由于概率小，它起的作用也小。下面我们给出烦的定义:H(X)=El(x.t)]=工1心)1(兀)i二一工pg丿logP(Xi)定义爛说明爛*1数注意：煩就是信源符号的平均信息量。公式里负号是自信息量带的符号，工是求和运算符号，一工〃(兀•丿log卩(无丿是n项求和，其中求和的每1项都是概率乘以概率的对数,n项求年的展开式君:—［加］丿logp(xj+p(x2)ogp(x2)+...+p(xfl)ogp(xj］.含义我们再明确一下烦的含义：烦是信源符号的平均信息量，是信源符号的平均不确定度，

8、是信源概率分布的整体描述。给定信源概率分布后，信源爛是一个固定的常数，因此可以作为信源整体信息量的度爛的单位与自信息量单位一致，对数的底数不同单位不同。好，关于爛的定义和公式我们就讲这么多。大家需要记住爛的公式，而且需要理解爛的含义，爛的含义是什么？大家说说看O爛是信源符号的平均信息量，是信源符号的平均不确定度，是信源概率分布的整体描述。好，下面咱们做几个例题，来练习一下爛的公式。例1:某地二月份天气的概率分布统计如下:XP(X)x,(晴)=V1/2兀2(阴)兀3(雨)1/41/8例题计算信源的平均信息量。解：H(X)=一工p(xi)l

9、ogp(xji(1,11,1L1L1)(2&24548888丿=1.75bit例2：电视屏上约有500x600=3x10’个格点，按每点有10个不同的灰度等级考虑，则功能组成1个不同的画面。按等概率计算，平均每个画面可提供的信息量是多少？另外，有一篇千字文章，假定每字可从万字表中任选，则共有10000

10、()()°=104()(M)篇不同的千字文，仍按照等概率计算，平均每篇千字文可提供的信息量是多少？解：H(X)=一工p(x.)logp(xi)i=logl03x,°5=3xlO5x3.322«106bitH?(X)=-工Xxjlogp(x

11、i)i=logIO4000=4Xio3X3.322«1.3x104bit请问，这两个信息量那个比较大？画面的信息量比较大。在日常生活中人们经常会说一句话，叫做“一图胜千文”。这种说法在这个例子中从信息论的角