欢迎来到天天文库
浏览记录
ID：44771072
大小：507.50 KB
页数：8页
时间：2019-10-28
《分析化学1.1课件》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、§1.1自信息第一章随机变量的信息度量§1.2熵联合熵条件熵§1.3相对熵和互信息§1.4信息量的一些基本性质2离散信源信源输出的消息是以取值离散的符号形式出现,其不同符号数可以是有限个,或可列无限个连续信源信源输出的消息的取值是连续的,可取不可列无限多个值信源消息的来源3离散信源通常用一个随机变量表示，的可能取 值，即信源可能输出的不同符号用集合表示问题:怎么来度量?的自信息，记为大小称为当信源发出某个信号时，它所提供的信息的4首先看一个例子:设一袋中有100个球,其中80个红球,20个白球,现任取一球,猜测其颜色.下面有两个消息:A摸出
2、的是红球.B摸出的是白球.问你从哪条消息中所获得的信息量更大？5从上例可知,随机事件所含信息的大小与其发生的概率密切相关:随机事件的不确定性越大,即发生的概率越小,则它的发生所提供的信息越大,反之亦然.可见,随机事件的自信息应是其概率的函数.6自信息应满足的几条公理:2)若3)4)严格单调性:5)如果1)非负性:7引理1.1.2如果实函数满足:定理1.1.1若自信息满足上述5个条件,则其中为常数.8定义1.1.1
此文档下载收益归作者所有
