资源描述：
《《信息论与编码》复习大纲.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、《信息论与编码》复习大纲本课程核心内容：一、信息论基础信息量、信息熵、互信息、信息率失真函数以及信道容量的定义、性质与计算二、编码定理及编码技术1、三大编码定理（无失真信源编码定理、有噪信道编码定理，限失真信源编码定理）2、信源编码：无失真和限失真信源编码方法方法－香农编码、费诺编码、哈夫曼编码、算术编码；其他编码方法3、信道编码：矢量空间与码空间、信道译码方法(最小汉明距离译码)、增加纠错能力的措施、线性分组码(汉明码)及其标准阵列译码表、循环码的构造方法章节重点内容：第一章：通信系统模型第二章：信源与信息熵1、马尔可夫信源：状态转移图转移概
2、率矩阵：符号条件概率矩阵：稳态分布概率：例2-2；类题2-1,2-22、自信息量I(xi)=-logp(xi)联合自信息量：I(xi,yj)=-logp(xi,yj)性质及计算条件自信息量：I(xi
3、yj)=-logp(xi
4、yj)3、平均自信息量及信源熵（极值条件）信源熵：条件熵：联合熵：三者之间的关系：H(X,Y)=H(X)+H(Y
5、X)H(X,Y)=H(Y)+H(X
6、Y)类题：例2-8，2-9习题2-7，2-10，2-124、互信息：(极大值和极小值)结论：当p(yj
7、xi)一定时，互信息I(X;Y)是信源分布p(xi)的上凸函数，有极大
8、值(信道容量)；当p(xi)一定时，互信息I(X;Y)是信源分布p(yj
9、xi)的下凸函数，有极小值(信源压缩极限)。5、熵的性质：非负性、对称性、确定性、香农辅助定理、最大熵定理、条件熵小于无条件熵6、离散序列信源的熵：(1)无记忆信源：(2)无记忆平稳信源：H(X1)=H(X2)=…H(XL)(3)离散有记忆信源序列的熵（马尔可夫信源极限熵）：例2-11及其结论(4)极限熵：马氏链极限熵的计算：例2-12，2-29，2-32其中：为状态符号熵7、连续信源最大熵定理：限峰功率及限平均功率第三章：信道与信道容量（基本概念）1、两个概念：信道容量
10、：比特/符号信息传输率：信道在单位时间内平均传输的信息量R=I(X;Y)=H(X)－H(X/Y)Rt=I(X;Y)/t比特/秒2、离散单个符号的信道容量：(要求：掌握达到信道容量时的信源分布)(1)对称DMC信道的信道容量例：(2)准对称信道的信道容量：将转移概率矩阵划分成若干个互不相交的对称的子集：3、连续信道及其容量(1)连续单符号加性信道：信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值(2)加性非高斯噪声信道的信道容量的上下界：(3)限时限频限功率加性高斯白噪声信道信道容量：单位时间的信道容量(香农公式)：－增加
11、信道容量的措施达到香农限的条件：输入信号是平均功率受限的高斯信号，非高斯信号信道容量小。3-5,3-6,3-10第四章：信息率失真函数（基本概念）1、失真矩阵及平均失真函数2、保真度准则：3、信息率失真函数：对于离散无记忆信源：(1)R(D)的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值为R(D)。(2)离散R(D)函数的定义域和值域：Dmin=0(3)R(D)的曲线图－性质4-2,4-3,4-4第五章：信源编码1、奇异码、非奇异码、唯一可译码、即时码的判定、Kraft不等式、码树图、平均码长的计算2、无失
12、真信源编码：(1)定长编码定理：(基本概念)由L个符号组成的，信源的符号熵（平均符号熵）为HL(X)的平稳无记忆离散信源序列X=(X1,X2,…,Xl,…,XL)，可用K个符号Y1,Y2,…,YK（每个符号有m种可能值）进行定长编码。对任意ε>0，δ>0，只要平均信息速率满足：则当L足够大时，必可使译码差错小于δ；反之，当时译码差错一定是有限值。而当L足够大时，译码几乎必定出错。编码效率：(2)最佳变长编码定理(香农第一定理)：最优码的平均码字长度满足：(单符号)或(符号序列)其中为变长编码后的平均信息速率(3)掌握四种编码方法：香农码、费诺码
13、、哈夫曼编码及算术编码(累计概率的计算)及编码效率的计算：例5-10，作业5-1,5-5,5-12第六章：信道编码1、基本概念：差错符号、差错比特；差错图样；矢量空间、码空间及其对偶空间；有扰离散信道的编码定理：（掌握信道编码定理的内容及减小差错概率的方法）；线形分组码的扩展与缩短（掌握奇偶校验码及缩短码的校验矩阵、生成矩阵与原线形分组码的关系）。2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G和H、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码。6-1,6-3,6-4,6-
14、5,6-6,6-7,6-8
