信息的度量修改

《信息的度量修改》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息第二章：信息的度量1.自信息2.互信息一、自信息和互信息二、平均自信息三、平均互信息平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）公理性条件：(1)如果p(x1)I(x2)，I(xi)是p(xi)的单调递减函数；(2)如果p(xi)=0，则I(xi)→∞;如果p(xi)=1，则I(xi)=0;(3)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和：I(xiyj)=I(xi)+

2、I(yj)平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（续1）随机事件的自信息定义为该事件发生概率的对数的负值：关于对数底的选取：以2为底，单位为比特(bit)以e为底，单位为奈特(nat)以10为底，单位为哈特莱(Hartley)一般都采用以2为底的对数，为了书写简洁，有时把底数2略去不写。1.自信息（量）（续2）平均自信息平均互信息自信息和互信息第二章：信息的度量单位之间的换算关系：1奈特=log2e比特=1.443比特1哈特莱=log210比特=3.322比特1r进制单位=l

3、og2r比特自信息可以从两个方面来理解：自信息是事件发生前，事件发生的不确定性。自信息表示事件发生后，事件所包含的信息量。试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？1.自信息（量）（续3）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（续4）平均自信息平均互信息自信息和互信息第二章：信息的度量例1:设在甲袋中放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。解：比特由于是随意取出一个电阻,所以取出任意阻值的电阻

4、的概率相等:例2:在乙袋中放入个电阻，其中阻值为1的1个，2的2个，…，n的n个，随意取出一个，求被告知“取出的电阻阻值为1”和“取出的电阻阻值为n”时分别获得的信息量。解：1.自信息（量）（续5）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（续6）平均自信息平均互信息自信息和互信息第二章：信息的度量1.自信息（量）（续7）平均自信息平均互信息自信息和互信息第二章：信息的度量例3：设在A袋放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。在B袋

5、中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j”时获得的信息量。在C袋中放入n种不同阻值，而每种阻值又有m种不同功率的电阻，即共有nm个电阻，随意选取一个，被告知“取出的电阻阻值为i，功率为j”时获得的信息量。1.自信息（量）（续8）平均自信息平均互信息自信息和互信息第二章：信息的度量I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xiyj)=–logp(xiyj)=log(nm)=I(xi)+I(yj)比特解：对应A,B,C三袋，随意取出

6、一个电阻事件的概率分别为：因此1.自信息（量）（续9）平均自信息平均互信息自信息和互信息第二章：信息的度量例4：设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意的放在棋盘中的某方格且让乙猜测棋子所在位置。（1）将方格按顺序编号，令乙猜测棋子所在的顺序号。问猜测的难易程度。（2）将方格按行和列编号，甲将棋子所在方格的列编号告诉乙之后，再令乙猜测棋子所在行的位置。问猜测的难易程度。解：p(xiyj)=1/64i=1,2,…,8;j=1,2,…,8（1）I(xiyj)=–logp(xiyj)=6比特（2）

7、I(xi

8、yj)=–logp(xi

9、yj)=–log[p(xiyj)/p(yj)]=3比特I(xi)=–logp(xi)=3比特I(yj)=3比特1.自信息（量）（续10）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量设X为信源发出的离散消息集合；Y为信宿收到的离散消息集合；信源发出的消息，经过有噪声的信道传递到信宿；信宿信道信源图1通信系统的简化模型噪声XY2.互信息（量）（续1）平均自信息平均互信息自信息和互信息第二章：信息的度

10、量信宿信道信源噪声XYxixi无噪I(xi)p(xi)p(xi

11、yj)I(xi)yjI(xi;yj)=I(xi)–I(xi

12、yj)先验概率：信源发出消息的概率。后验概率：信宿收到消息后推测信源发出的概率，即条件概率。2.互信息（量）（续2）平均自信息平均互信息自信息和互信息第二章：信息的度量互信息定义为：互信息有两方面的含义：表示事件出现前后关于事件的不确定性减少的量；事件出现以后信宿获得的关于事件的信息量。2.互信息（量）（