信息论与编码(万方)复习

《信息论与编码(万方)复习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码复习7/22/2021考试题型简答题（8分/题*5）计算题（10分/题*6）卷面成绩70%,平时成绩30分第1章概论掌握通信系统的基本模型；掌握信息论的研究内容。第2章信源熵概念：自信息量平均互信息量熵功率信源冗余度定理离散信源的最大熵定理限平均功率的连续信源的最大熵定理离散信源的无失真定长编码定理离散信源的最佳变长编码定理第二章——续计算：某个事件发生后对外提供的自信息量（例如作业：2.1，2.4（1），2.15（2），2.18（自信息量的综合应用））某个单符号信源的熵（例如作业：2.5（3）（4），2.17（1））序列信源的熵（例如作业：

2、2.15（3））对于一阶和二阶马尔可夫信源：会计算达到稳态时的状态概率分布（作业2.16（1））和极限熵（作业2.16（2），2.17（2）和p48例2.2.4）；给定状态转移概率，会画状态转移图，反之亦要求。第二章——续计算：信源冗余度的计算（作业2.17（3））根据给出的离散信源，能够进行定长编码，求出码字。掌握信源编码器的性能指标（编码效率η）及其与码长（k）之间的关系。已知一个非高斯信源的熵H，能够求出高斯信源达到此熵所需的功率求出此高斯信源的概率密度函数第3章信道容量概念与定理：掌握信道容量的概念和用途掌握什么是信道编码定理。掌握限带的连续信源的信

3、道容量第3章信道容量计算：对称离散无记忆信道的容量的求解和应用如课后作业4.6准对称信道的容量的求解和应用。第3章信道容量计算：均匀信道容量的求解：已知一个信源有n个符号，传输的正确概率为p，错误概率均匀的分配给其余的符号，求该信道的转移概率矩阵求该信道的信道容量第3章信道容量掌握离散无记忆信道的N次扩展信道的容量的求解无噪信道的容量：见作业3.14应用连续信道的信道容量公式进行解题连续信道的容量所需的信号功率如作业3.19,使用公式注意：C就是信号的传输速率dB表示的信噪比在代入时要进行转换第3章信道容量计算带宽无穷大时连续信道的容量带宽无穷大时，连续信号

4、传输所需的信号功率如作业3.20：注意：噪声功率有时并不直接给出，而是给出噪声功率谱密度N0和带宽B,则N=N0B第4章信息率失真函数概念和定理：掌握保真度准则下的信源编码定理掌握信息率失真函数的概念、是信源的特性、有哪些应用计算：对于离散信源(如作业4.1(1))：Dmax,R(Dmax)，及达到Dmax时对应的信道转移概率分布第j*列(1)(2)(3)第4章信息率失真函数计算：对于离散信源(如作业4.1(2))：Dmin,R(Dmin)，及达到Dmin时对应的信道转移概率分布P(Y/X):失真矩阵每行最小的元素对应的位置的转移概率才为1，其它为0(1)(

5、2)(3)第4章信息率失真函数计算：对于离散信源(如作业4.1(3))：R(D)的计算、R(D)与D的关系图只要求等概信源，对称失真的R(D),见P120(4.2.50式)关系图见P109图4.1.1（注意区分离散和连续信源），所取的点的纵坐标根据R(D)的计算式求得第4章信息率失真函数计算：对于连续信源（例：课堂上讲的两个例子）失真函数为均方失真时，给定的连续信源的Dmax和R(D)的计算。失真函数是绝对失真时，给定的指数分布信源的Dmax和R(D)的计算。第4章信息率失真函数第5章信源编码掌握最佳变长信源编码定理。计算：给定一个离散信源：能进行二进制香农

6、编码二/三进制费诺编码二/三哈夫曼编码等长编码平均码长、编码速率和编码效率。第6章信道编码概念和定理：信道编码的作用计算：对于线性分组码已知G,会求码字：例p1766.2.2已知G，会求GS和HS:例：p1776.2.3能够进行伴随式译码:例：步骤见p178，课件中有具体的例子计算：对于循环码，已知（n,k）循环码会求g(x),并根据g(x)求G，例p191-1926.3.3,p1936.3.4会求h(x)=(xn+1)/g(x),并根据h(x),例p1936.3.4会求系统循环码码字:由G经过初等行变换得Gs,再通过C=mGS得系统循环码码字变换方法见p1

7、776.2.3第6章信道编码计算：对于循环码，已知（n,k）循环码会使用伴随式进行校验，即根据接收的向量r进行判断方法1：s=rHT,看s是否为0，非零则说明有差错方法2：s(x)=r(x)modg(x)，看是否有余数，有则说明有差错例p200(6.3.16式)能画出一般循环码的数字编码电路图：例p196图6.3.4能够通过分析电路的运行过程，得到生成的循环码字。见课件第6章信道编码希望大家都取得理想的成绩