信息论总复习

《信息论总复习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一专题本章是信息论的基本概念，介绍的主要内容有：从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。信息的特点：无确切定义，人人皆知的抽象概念信息的特征：抽象性和广泛性信息与消息、信号的关系香农信息论给出的信息的定义：1.信息的概念*****信息是事物运动状态或存在方式的不确定性的描述******。2.什么是信息论（1）信息论的发展简史1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有

2、普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。（2）信息论研究的对象干扰源信道信道译码器信道编码器信源译码器信源编码器信宿信源等效信源等效信宿等效干扰信道图1-1信息传输系统模型**************这个模型包括以下五个部分：3.信道信道是信息传输和存储的媒介。4.译码器译码是编码的逆变换，分为信道译码和信源译码。5.信宿信宿是消息的接收者。2.编码器编码器是将消息变成适合于信道传送的信号的设备。1.信源信源是产生消息的源。编

3、码器信源编码器，提高传输效率信道编码器，提高传输可靠性第二专题1.信源的分类离散信源和连续信源；平稳信源和非平稳信源；有记忆信源和无记忆信源2.离散信源的信息熵(*******)（1）自信息有两个含义：1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，表示该事件所提供的信息量．（2）信息熵(平均自信息**********）（3）信息熵的物理含义*********信息熵表示信源输出后，每个消息（或符号）所提供的平均信息量信息熵表示信源输出前，信源的平均不确定性。用信息熵来表征变量X的随机性3.信息熵的基本性质

4、(*********包含性质的具体内容)非负性对称性确定性扩展性极值性可加性强可加性递增性上凸性唯一性H(X)≥0H（XY）=H（X）+H（Y）*******H(XY)=H(X)+H(Y/X)熵函数H(P)是概率矢量P=（p1,p2,…,pn)的严格n型凸函数。*********4.离散无记忆扩展信源的信息熵（********）（1）离散无记忆扩展信源的数学模型（2）离散无记忆扩展信源的信息熵*******5.离散平稳信源的信息熵（*****）（1）离散平稳信源的定义（*****）数学模型（2）离散平稳信源的信息测度联

5、合熵条件熵注意符号的前后依赖关系7.信源剩余度（了解）熵的相对率信源剩余度第三专题一.信道的分类单用户信道和多用户信道；有反馈信道和无反馈信道；时变参数信道和固定参数信道；离散信道、连续信道、半连续半离散信道和波形信道；有记忆信道和无记忆信道；有噪信道和无噪信道。二.离散信道的数学模型(**********)1.一般离散信道（多维离散信道）P(Y/X)XY2.基本离散信道（单符号离散信道）XY根据信道矩阵的特点，信道可分为：（1）对称离散信道（2）准对称离散信道（3）强对称离散信道3.无噪信道（无干扰信道）无噪信道（1

6、）无噪无损信道:一一对应关系（2）无噪有损信道：多对一关系有噪信道：信道转移概率不是0，1分布有噪无损信道：一对多关系，其后向概率为0，1分布；充要条件是信道矩阵中每一列有一个也仅有一个非零元素；4.离散无记忆信道（DMC）否则为有记忆信道；（三）离散信道的平均互信息及其特性1.信道疑义度*****2.互信息（********定义）3.平均互信息（************定义，计算）4.平均互信息的物理含义及与各类熵的关系（*************）（1）平均互信息与各类熵的关系H(X)H(Y)I(X;Y)H(X

7、Y

8、)H(Y

9、X)I(X;Y)=H(X)-H(X/Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y/X)（2）平均互信息的物理含义(*************)平均互信息表示接收到输出信号的前、后关于输入信号的平均不确定性的消除平均互信息表示输入信号发出的前、后，关于输出信号的平均不确定性的消除平均互信息表示信道的输出信号和输入信号之间相互提供平均信息量平均互信息是输入信号和输出信号之间的统计依赖关系的信息量度平均互信息表示信道中平均每个符号所能传达的信息量，就是信道的信息传输率R5.平均互信息的特性（*****）（

10、1）平均互信息的非负性I(X;Y)>=0（2）平均互信息的极值性I(X;Y)<=H(X)I(Y;X)≤H(Y)（3）平均互信息量的交互性I(X；Y)=I(Y；X)（4）平均互信息的凸状性1平均互信息I(X;Y)是信源概率分布P(X)的型凸函数2平均互信息I(X;Y)信道传递概率分布P(Y/X)的U型凸函数（五）离散信道的信道容量1