信息论与编码复习2011

《信息论与编码复习2011》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、“信息论与编码”复习1、信息的分类按照性质，信息可以分为语法信息、语义信息和语用信息。按照地位，信息可以分成客观信息和主观信息。按照作用，信息可以分成有用信息、无用信息和干扰信息。按照携带信息的信号性质，信息可以分成连续信息、离散信息和半连续信息等。2、单符号离散信源的数学模型3、自信息量、联合自信息量、条件自信息量不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。4、互信息量和条件互信息量两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西性质：（1）对称性（2）当X和Y相互独立时，互信息为0（3）互信息量可为正值或负值(2.1.13)5、信源熵、条件熵、联合熵（

2、2.1.16）信源熵的物理含义：（1）信源熵H(X)表示信源输出后，平均每个离散消息所提供的信息量；（2）信源熵H(X)表示信源输出前，信源的平均不确定度；（3）信源熵H(X)反映了变量X的随机性。（信道疑义度，损失熵）（噪声熵）熵的基本性质：（1）非负性;(2)对称性；（3）最大离散熵定理；（4）扩展性；（5）确定性；（6）可加性；（7）极值性1、平均互信息量表示收到Y前后关于X的不确定度减少量。表示发X前后关于Y的不确定度减少量。说明信道两端随机变量X和Y之间的平均互信息量等于通信前后整个系统不确定度减少的量。性质：（1）对称性说明：对于信道两端的随机变量X和Y，由Y提取到的关于X的信息

3、量与从X中提取到的关于Y的信息量是一样的。（1）非负性说明：从整体和平均的意义说，信道每传递一条消息，总能提供一定的信息量，或者说接收端每收到一条消息，总能提取到关于信源X的信息量，等效于总能使信源的不确定度有所下降。（2）极值性说明从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。（3）凸函数性平均互信息量是输入信源概率分布的上凸函数；是信道转移概率分布的下凸函数。（4）数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。1、多符号离散信源的熵（1）序列信息的熵（2）离散平稳信源的熵平均

4、符号熵：极限熵2、马尔可夫信源的定义，含义及其极限熵当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。3、信源熵的相对率和冗余度（相对率）10、Shannon第一定理—离散无失真信源编码定理（定长和变长）及含义？克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。1、无失真信源编码定理定长编码定理：反之信息率编码率变长编码定理：对离散无记忆信源，消息长度为L，符号熵为H(X),对信源进行m元变长编码，一定存在无失真的信源编码方法，其码字的平均长度满足其码字的平均信息率R满足2、信道分类无记忆信道和有记忆信道；有干扰信道和无干扰信道；

5、单符号信道和多符号信道；单用户信道和多用户信道；连续信道、半离散信道和离散信道3、信道容量1、强对称，对称，准对称信道的含义及其C如果一个信道矩阵具有可排列性，则它所表示的信道称为对称信道ÿ强对称信道：总的错误概率是p，对称平均地分配给(n－1)个输出符号.ÿ信道矩阵中每行之和等于1，每列之和也等于1。一般信道矩阵中，每列之和不一定等于1。准对称信道：一个n行m列单符号离散信道矩阵[P]的行可排列，列不可排列。但是矩阵中的m列可分成S个不相交的子集，各子集分别有m1,m2,…,ms个元素(m1+m2+…+ms=m)，由n行mk(k=1,2,…,s)列组成的子矩阵[P]k具有可排列性。14、信

6、道编码定理：若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,任何编码的，Pe必大于0，当L∞,pe115、失真函数、平均失真度的定义及其含义失真函数定义：平均失真度：16、信息率失真函数R(D)的定义、性质及其含义？R(D)与C的比较17、