欢迎来到天天文库
浏览记录
ID：44771040
大小：251.50 KB
页数：12页
时间：2019-10-28
《分析化学1.2课件》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、§1.2熵 联合熵 条件熵自信息是单个信号的信息度量，对于整个信源而言，每个符号的自信息可能不同，那么，从平均意义上来说，信源每发出一个符号所含的信息量有多大？这个平均信息量称为信源的熵，也称为随机变量的熵，记为1再看例子:设一袋中有100个球,其中80个红球,20个白球,现任取一球,猜测其颜色.这个信源可发出两个消息:从平均意义上来说，信源每发出一个符号所含的信息量有多大？2定义１.2.１离散随机变量的熵定义为我们也用表示这个熵，有时也称它为概率分布的熵信源的信息熵就是随机变量的数学期望3以２为底熵的单位为比特（bit）e奈特（nat）10哈特（hat）NN
2、进制信息单位熵的单位与对数底的关系：4熵的简单性质：引理1.2.1且等号成立的充要条件是有退化分布．例1.2.1设的分布为10概率5p0.51.01.0的图形如下，以后将经常用到这个函数，称为二进熵函数．6则例1.2.2设服从有限集上的均匀分布，即7或写成数学期望形式定义1.2.2设一对随机变量的联合分布为则定义的联合熵为8则定义联合熵为联合熵可推广到n维随机变量的情形定义1.2.3设n维随机向量的联合分布为:9定义1.2.4设随机变量对有联合分布，表示条件概率分布，则给定条件下的熵定义为而给定随机变量条件下的熵记为，它是关于的平均值，即10
3、定理1.2.2(链法则)11及等.定理1.2.3（熵的链法则），设，则的联合分布为类似于H(Y
4、X)，可定义12
此文档下载收益归作者所有
