ch2熵和互信息

《ch2熵和互信息》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息理论与编码第2章熵和互信息许海霞xu_haixia@163.com重点事件的自信息2个事件间的互信息条件互信息联合互信息熵事件的自信息2个事件间的互信息例X=0男性X=1女性；Y=0抽烟Y=1不抽烟0.360.5410.040.060100.36010.040.6010条件互信息联合互信息重点熵的定义及性质平均互信息熵和平均互信息之间的关系（图）随机变量的平均自信息——熵例熵的定义例条件熵X和Y统计独立时联合熵联合熵的链法则例：设箱中有m个黑球，n-m>0个白球，现从箱子中做不放回取球，用X表示取出第一个球的颜色，Y表示取出第二个球的颜色。求熵的性质对称性非负性确定性可扩展性可加

2、性极值性严格上凸性随机变量间的平均互信息互信息的性质非负性对称性例已知平均每100人中有2人患有某种病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于健康人来说有一半可能为阳性、一半可能为阴性。试问这项化验对于查明病情提供多少信息？例有两个硬币，一个是正常硬币，另一个的两面都是面值。现随机抽取一个硬币，抛掷2次。问出现面值的次数对于硬币的识别提供多少信息？重点数据处理定理连续随机变量的互信息和微分熵平稳离散信源的熵概率分布的散度（相对熵）平均互信息的散度表示关于疑义度的Fano不等式两个在相同字符表中取值的随机变量和满足其中马尔可夫链记为特别地，考虑

3、三个随机变量的马尔可夫链数据处理定理：如果有马尔可夫链则如果有马尔可夫链，则定理：条件分布给定时，互信息是输入分布的上凸函数。定理：当随机变量X的概率分布给定时，平均互信息是条件概率分布的下凸函数。连续随机变量的互信息条件互信息联合互信息连续随机变量互信息的性质若，则连续随机变量的熵----微分熵微分熵的极大化峰值受限：设，即，这时微分熵，等号在均匀分布时达到。平均功率受限：在方差一定的条件下，当X服从正态分布时，微分熵最大，即平稳离散信源的熵随机序列平稳的概念平稳信源的熵离散平稳信源熵的性质随N的增大而单调不增。也随N的增大而单调不增。熵的相对率冗余度m阶马尔可夫序列：当前符号的发

4、生仅与前面m个已发生的符号有关，而与以前的历史无关。即