信息论基础复习ppt课件.ppt

《信息论基础复习ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、123456789序论一、信息论的形成及历史——ClaudeShannon及其主要贡献二、通信系统的模型——信源、信道、信宿及相互关系三、信息论的基本研究内容10第一章随机变量的信息度量一、信源的分类及数学模型11二、自信息定义性质、单位、随机事件的不确定性12三、信源的信息熵定义：单位——bit、nat、hart、N进信息单位信息含义（物理意义）联合熵：13条件熵：熵的简单性质：等号成立的充要条件是X有退化分布．2、极值性等号成立的充分必要条件是X服从均匀分布143、链法则：二进熵函数：15四、

2、相对熵和互信息相对熵：相对熵的非负性：等号成立的充要条件是16互信息、条件互信息互信息的简单性质：1、非负性2、链法则3、数据处理不等式17各种熵及互信息的相互关系：注：此图表示了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。18五、信息量的一些性质1、凸函数的定义2、Jensen不等式，对数和不等式3、D(p

3、

4、q)是概率分布对(p,q)的凸函数(证明）4、熵H(p)是概率分布p的凹函数(证明)6、法诺不等式19第二章随机过程的信息度量一、信源和随机过程的基本概念各种信源的数学模型：无记忆

5、信源马尔科夫信源：平稳分布、转移概率矩阵、香农线图相互关系平稳信源大数定理20二、随机过程的信息度量平稳信源的极限熵(熵率):特别1、无记忆信源：2、k阶平稳马氏信源：k＝1时：注：会计算平稳马氏信源的平稳分布及熵率21三、渐近等分性1、对无记忆信源：2、弱典型序列：22四、信源编码定理了解信源编码定理的内容(定理2.4.1)23第三章数据压缩和信源编码一、等长码等长码的概念码率:24二、变长码变长码的定义、有限扩张码、唯一可译码、平均码长即时码及存在的充要条件Kraft不等式：码树、用树图法进行编码2

6、5三、编码方法1、Huffman码熟练掌握编码方法、了解该方法的特点、优势和不足(特别注意补虚元的问题)2、算术码掌握香农－法诺编码方法3、通用信源编码了解LZ算法、LZW算法的基本原理和具体方法26第四章数据可靠传输和信道编码一、离散无记忆信道和信道容量离散信道的数学模型：信道编码的定义、编码速率、错误概率离散无记忆信道容量的定义：几种特殊的信道容量的计算：二进无噪信道、二进对称信道、一般对称信道、弱对称信道、准对称信道27二、信道容量的计算会用拉格朗日乘数法求信道容量了解信道容量的迭代算法的基本思想

7、28三、线性分组码信道的译码规则极大似然译码规则：平均错误概率：29生成矩阵、校验矩阵、相互关系线性分组码的汉明距离、汉明重量检纠能力与最小距离（最小重量）的关系，与校验矩阵的关系(两个定理）系统码最小距离译码规则汉明码注：给出生成矩阵(或校验矩阵)求校验矩阵(或生成矩阵)、求所有码字、最小距离(最小重量)、检纠能力、求给出输出序列的译码。30第五章限失真信源编码和率失真函数一、限失真信源编码模型和率失真函数2、失真测度、平均失真、失真矩阵1、限失真信源模型3、限失真信源编码、码率4、信息率失真函数31

8、5、信息率失真函数的性质(定理5.1.1)6、平稳信源的率失真函数特别对无记忆信源32二、率失真函数的计算简单信源的信息率函数的计算用拉格朗日乘子法计算了解迭代算法的基本思想三、限失真信源编码定理了解限失真信源编码定理的基本内容33第六章连续信源和信道编码理论一、可微熵1、连续信源可微熵的定义:简单的信源的熵的计算(均匀分布、指数分布、正态分布)联合熵、条件熵的定义、熵函数的性质随机变量经变换后可微熵的变化情况(定理6.1.2)34二、相对熵、互信息相对熵、互信息的性质及相互关系最大熵原理35三、信息率

9、失真函数失真测度、率失真函数的定义率失真函数的性质高斯信源的率失真函数无记忆信源的率失真函数四、高斯信道高斯信道的定义、容量36