信息编码期末复习

《信息编码期末复习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、期末复习——第一章2011.11马尔可夫过程的概念1.马尔可夫性(无后效性)马尔可夫性或无后效性.即:过程“将来”的情况与“过去”的情况是无关的.齐次马氏链、平稳性的概念.一步转移概率矩阵的计算.一步转移概率一步转移概率矩阵状态转移图1230.50.25路径：经过一系列的转变状态i可以到状态j•可达：两状态间有一条路径•互通：两状态间互连吸收态：只能出去不能进来平稳概率意义对固定的状态j,不管链在某一时刻的什么状态i出发,通过长时间的转移到达状态j的概率都趋于稳定。信息的定义通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。通常需通过处理和分析来提取。1.1.信源特性与分类信源是产生

2、消息的源，根据X的不同情况，信源可分为以下类型：连续信源：如果信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。离散信源：如果信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。1.离散无记忆信源离散无记忆信源的数学模型为离散型的概率空间，即：u2,…,ui,…,p(u2),…,p(ui),…,离散无记忆信源的概率密度函数(u)＝（当满足无记忆条件时）（当进一步满足平稳性时）离散有记忆信源的概率密度函数若将离散序列信源发出的随机序列消息看作一阶马氏链，则消息序列中任一时刻的消息仅与其前面的一个消息有关，而与更前面的消息没

3、有直接关系。(u)（对于马氏链）（对于齐次马氏链）（对于齐次遍历马氏链）自信息量：任意随机事件的自信息量定义为该事件发生概率的对数的负值。1.2.离散信源的信息熵信息熵－－平均自信息量：随机变量I(pi)的数学期望定义为平均自信息量联合熵与条件熵：定理1-2-2：熵函数的性质：1.对称性2.非负性3.确定性4.扩展性5.递推性6.可加性定理1-2-2：熵函数的极值性该性质表明，在离散情况下，信源U的各事件等概率发生时，熵达到极大值。这个重要结论称为最大熵定理。事件的数目n越多，信源的熵值就越大（对数函数的单调上升性）。定理1-2-3：熵函数的上凸性熵函数H(U)为pi=p(ui)的上凸函数詹

4、森（Jenson）不等式当f(x)为下凸函数时：当f(x)为上凸函数时：离散无记忆信源的序列熵与消息熵序列熵H(U)（对平稳信源）（熵的可加性）1.3.离散序列信源的熵平均每个消息的熵——消息熵HL(U)离散序列信源的消息熵HL(U)等于单符号离散信源的熵定理1-3-1：证明：香农不等式含义：熵不会因为附加条件的增加而有所增加。即，无条件熵大于等于有条件熵。离散有记忆信源的序列熵与消息熵定理1-3-3对离散、平稳、有记忆信源，下列结论成立:证明：根据仙农不等式，无条件熵大于有条件熵，弱条件熵大于强条件熵。含义：随着消息序列长度的增加，最后一个消息的条件熵呈递减趋势，即序列所增加的熵越来越小；

5、只有当信源满足无记忆条件时，增加的熵才保持不变含义：序列的平均消息熵大于等于最后一个消息的条件熵含义：随着消息序列长度的增加，序列所增加的熵越来越小，那么序列的平均消息熵也将越来越小含义：当消息序列的长度趋于无穷时，平均消息熵（即极限熵）等于最后一个消息的条件熵互信息定义互信息量是通信系统的信宿从信源所获得的信息量。1.4.互信息定理1-4-1：互信息的性质I(U;V)=H（U）-H（U︱V）＝H（V）-H（V︱U）＝H(U)+H(V)-H(U;V)＝I(V;U)（1）对称性（2）非负性（3）互信息不大于信源熵H(U)是信源U的信息熵,H(U︱V)是信宿接收到V后，信源U还保留的熵，二者之差

6、I(U;V)就是在接收过程中得到的关于U,V的互信息量。对于无扰信道，I(U;V)=H(U)。对于强噪信道，I(U;V)=0。从通信的角度来讨论互信息量I(U;V)的物理意义由第一等式I(U;V)=H(U)-H(U︱V)看I(U;V)的物理意义：对于无扰信道，有I(U;V)=H(U)=H(V)。对于强噪信道，有H(V︱U)=H(V)，从而I(U;V)=0。H(V)是信宿接收到V所获得的信息量，H(V︱U)是发出消息U后，由于干扰而使V存在的信息熵，二者之差I(U;V)就是一次通信所获得的信息量。由第二等式I(U;V)=H(V)-H(V︱U)看I(U;V)的物理意义：通信前，随机变量U和随机变

7、量V可视为统计独立，其先验信息熵为H(U)+H(V)，通信后，整个系统的后验信息熵为H(U;V)二者之差H(U)+H(V)-H(U;V)就是通信过程中信息熵减少的量，也就是通信过程中获得的互信息量I(U;V)。由第三等式I(U;V)=H(U)+H(V)-H(U,V)看I(U;V)的物理意义：互信息量性质的意义互信息量的对称性说明对于信道两端的随机变量U和V，由V提取到的关于U的信息量与从U中提取到的关于V的信