资源描述：
《信息理论与编码53608》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、思考问题：熵有那些定义?其物理意义是什么?联合熵与信息熵、条件熵的关系是什么？互熵与信息熵、条件熵的关系是什么？1）I（X；Y）=H（X）一H（X／Y）I（X；Y）=H（Y）一H（Y／X）3）I（X；Y）=I（Y；X）4)I(X;Y)=H(X)+H(Y)-H(XY)H（XY）＝H（X）＋H（Y／X）H（XY）＝H（Y）＋H（X／Y）数据处理定理(1):当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。三、数据处理中信息的变化若I(X;Z/Y)=0:则有I(X;Z)<=I(X;Y)I(X;Z)<=I(Y;Z)
2、数据处理定理(2):如果想从测量值Y中获得关于X的信息量，则测量次数越多越好。I(X;Y1)<=I(X;Y1Y2)第一级处理器第二级处理器XYZ输入四、熵的性质1、非负性H(X)>=0,I(X;Y)>=02、对称性H(p1,p2,…pn)=H(p2,p1,…pn)3、确定性H(1,0,0,…0)=04、最大熵定理：对于X{a1,a2,…an}当p(ai)=1/n时，Hmax(X)=log2n5、条件熵小于无条件熵H(X/Y)<=H(X) H(X/Y1Y2)<=H(X/Y1)在相互独立时取等号,此时I(X;Y)=0。联合熵大于独立熵H(XY)>=H(
3、x) H(XY)<=H(x)+H(Y)在X=Y时，取等号。2.3离散序列信源的熵设:信源输出的随机序列为X=X1X2X3…XL序列熵:H(X1X2X3…XL)=H(XL)bit/seq序列平均符号熵:HL(X)=H(XL)/Lbit/symbol一、无记忆离散序列H(XL)=H（X1）+H（X2）+…+H(XL)=LH(X)HL(X)=H(X)设:信源输出的随机序列为X=X1X2X3…XL序列熵:H(X1X2X3…XL)=H(XL)bit/seq序列平均符号熵:HL(X)=H(XL)/Lbit/symbol二、有记忆离散序列H(XL)=H（X1)+
4、H（X2/X1)+H(X3/X1X2)+…+H(XL/X1X2…XL-1)HL(X)=H(XL)/L例：2-12已知:离散有记忆信源中各符号的概率空间为:现信源发出二重符号序列消息（ai,aj），这两个符号的概率关联性用条件概率p(aj/ai)表示，并由下表给出。求离散信源的序列熵和平均每个符号的熵?特点：（1）H(XL/X1X2…XL-1)为L的单调非增函数。离散序列X=X1X2X3…XLH(XL)=H(X1)+H(X2/X1)+H(X3/X1X2)+…+H(XL/X1X2…XL-1)（2）HL(X)>=H(XL/X1X2…XL-1)（3）HL(
5、X)是L的单调非增函数H0(X):信源等概率时的熵（最大熵）H1(X):单符号信源熵HL(X):序列长度为L的平均符号熵H∞(X):极限熵信息效率、冗余度的定义信息效率冗余度η为序列长度为无限长时的平均符号信息量与序列长度为m时的平均符号信息量的比值.英文文章：26个字母加空格，共27个符号。H0(X)=log27=4.75bit/symbolH1(X)=4.03bit/symbolH2(X)=3.32bit/symbolH∞(x)=1.4bit/symbol由上述例子可看出：由于各个符号出现的概率不均匀所以：H1＜H0随着序列增长，字母间的相关性
6、越来越强:所以：H＜…＜H3＜H2正是因为信源符号中存在的这些统计不均匀性和相关性，才使得信源存在冗余度。当英文字母的结构信息已预先充分获得时，可用合理符号来表达英语，例如传送或存储这些符号，可大量压缩，100页的英语，大约只要29页就可以了。马尔可夫信源分析举例:m阶：输出符号与前m个状态有关。n元：符号集中符号的数目为n例1：有一个三元一阶平稳马尔可夫链X1,X2,…,…，各Xi取于符号集A={a1,a2,a3}。已知起始概率为：p1=1/2,p2=p3=1/4,转移概率如下示。 求这个链的极限平均符号熵和它们所对应的冗余度。例2：由符号集｛
7、０，１｝组成的二元二阶马尔可夫信源，其转移概率为：p(０
8、00)=0.8,p(1
9、00)=0.2,p(0
10、11)=0.2,p(1
11、11)=0.8,p(０
12、01)=0.5,p(1
13、01)=0.5,p(0
14、10)=0.5,p(1
15、10)=0.5。画出状态转移图，并求稳态时的符号熵p(s0)=p(s3)=5/14p(s1)=p(s2)=2/14H∞=0.801bit/symbolγ=0.2第4节连续信源的熵和互信息 一：熵的定义 二:典型连续信源的熵Hc(XY)＝Hc(X)＋Hc(Y/X)＝Hc(Y)＋Hc(X/Y)I(X;Y)＝I(Y;X)＝Hc(X)
16、-Hc(X/Y)＝Hc(X)＋Hc(Y)-Hc(XY)＝Hc(Y)-Hc(Y/X)三、连续信源最大相对熵定理（1）如果信源
