信息论复习提纲修改

《信息论复习提纲修改》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第一章概述题纲：I.什么是信息？II.什么是信息论?需掌握的问题：1.信息的定义是什么？（有通俗定义、广义定义、Shannon信息论定义）2.它们三个定义的区别？3.信息的性质是什么？并给与说明。（参考能量的性质来理解记忆）4.什么是信息论，它研究范围的是什么？5.狭义信息论的研究内容？6.画出通信系统模型图，并说明每一部分的作用。第二、三章信源熵题纲：I.信源的数学模型及分类II.自信息III.互信息量IV.熵1.定义2.含义3.联合熵、条件嫡1.性质（9个）I.平均互信息1.定义2.含义3.联合平均互信息、条件平均互信息4.性质（6个）II.多符号离散信源的数

2、学模型及分类1.随机过程介绍2.数学模型3.分类III.无记忆多符号离散平稳信源IV.有记忆多符号离散平稳信源1.熵2.平均符号熵3.极限熵4.性质（4个）V.马尔可夫信源1.m阶马尔可夫信源2.含义VI.倍源冗余度和自然语言的熵1.结论：记忆长度越长，信源信息量越小2.信源冗余度3.通信的原理VII.连续信源的熵1.数学模型及分类2.相对熵的定义1.含义2.联合相对熵、条件相对熵3.儿种特殊连续信源的熵4.性质（4个）需掌握的问题.•1.信源的数学模型是什么？2.信源如何分类，不同信源类别的区别是什么？3.不同类别信源的数学描述是什么？4.自信息量的大小如何计算

3、？（公式）5.自信息量公式中对数的底数不同单位分别是什么？（单位的中英文名称）6.自信息量的含义是什么？（它对什么量的度量）7.联合自信息量、条件自信息tt、自信息址之间的关系是什么？8.自信息的性质是什么？（能够证明）说明各个性质的含义。9.互信息量的大小如何计算？（公式）10.互信息量的含义是什么？互信息量在通信系统模型中描述哪部分的信息量?11.联合互信息量、条件互信息量、互信息量之间的关系是什么？12.互信息的性质是什么？13.熵的表达式是什么？怎么推导的？14.熵的单位是什么？15.熵的含义是什么？16.单符号离散信源最大嫡是多少？信源概率如何分布吋能达

4、到？17.熵的性质是什么？（能够证明，并说明每个性质的含义）18.联合熵、条件熵和熵的关系。19.平均互信息的定义是什么？平均互信息的表达式怎么推导？20.平均互信息的含义？21.信道疑义度、损失熵和噪声熵的含义？22.平均互信息的性质？（能够证明，并说明每个性质的含义）23.联合平均互信息、条件平均互信息和平均互信息的关系？24.自信息量、熵、互信息、平均互信息之间的关系？1.什么是严平稳随机过程？2.多符号离散信源的数学模型如何描述？3.多符号离散信源如何分类？4.无记忆多符号离散平穏信源的熵如何计算？5.用联合概率表征记忆特征的有记忆多符号离散T•稳信源的熵

5、如何计算？6.平均符号熵的定义和公式。7.极限熵的定义和公式。8.有记忆多符号离散平穏信源的平均符号熵、极限熵、条件熵的关系和性质（4个）能够证叨，并说叨它们的含义。9.信源冗余度如何计算？10.提高通信效率的手段？11.信源信息tt的大小随信源记忆长度变化的规律是什么？12.连续信源分几类？13.描述连续信源的数学工具是什么？14.相对熵的表达式是什么？如何推导的？15.相对熵和绝对嫡的区别是什么？16.能够计算均匀分布、正态分布、指数分布连续信源的嫡。41.能够证明相对熵的加性。42.能够证明相对熵的极值性。43.能够证明连续信源平均互信息量的非负性。44.能

6、够证明连续信源相对熵的极值性。第四章信道容量题纲：I.信道的数学模型及分类1.信道的定义2.分类3.数学模型I.单符号离散信道的信道容量1.信道容量的定义2.几种特殊离散信道的信道容量a.无干扰信道a1.无噪无损信道a2.有噪无损信道a3.无噪有损信道b.有干扰信道b2.对称信道b3.准对称信道3.—般信道的信道容量II.多符号离散信道的信道容1.数学模型2.信道容量需掌握的问题.•1.信道的定义是什么？2.信道如何分类，各种类别的名称以及它们之间的区別？3.信道的数学模型是什么？4.二元对称信道和二元删除信道的信道转移矩阵是什么？5.信道容量的定义是什么？信道容

7、量的含义如何理解？6.能够计算无噪无损信道、有噪无损信道、无噪有损信道的信道容量。7.对称信道的定义是什么？8.对称信道、准对称信道的信道转移矩阵有什么特点？9.能够计算对称信道容量。10.—般信道容量求解的木质是什么？11.定理描述的内容，会利用定理求解一般信道容量。1.能利用待定系数求解信道容量。2.—般信道容量算法的限制是什么？3.描述离散无记忆扩展信道的数学模型。4.分三种情况计算多符号离散信道的信道容量:a.信源无记忆b.信道无记忆c.信源、信道都无记忆第五章信源编码题纲：I.基本概念1.编码器2.二元码3.等长码4.变长码5.奇异码6.非奇异码7.同价

8、码8.码的