资源描述：
《信息论基础总结》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第1章信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。狭义信息论信息论研究的范畴：实用信息论信源信源编码器信宿信道信道编码器信源译码器信道译码器广义信息论信息传输系统信息传输系统的五个组成部分及功能：1.信源信源是产生消息的源。2.编码器编码器是将消息变换成适合于信道传送的信号的
2、设备。编码器分为信源编码器和信道编码器两种。3.信道信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。4.译码器译码器是编码器的逆变换，分为信道译码器和信源译码器。5.信宿信宿是消息的接收者，可以是人，也可以是机器。离散信源及其数学模型离散信源—消息集X为离散集合，即时间和空间均离散的信源。连续信源—时间离散而空间连续的信源。波形信源—时间和空间均连续的信源。无记忆信源—X的各时刻取值相互独立。有记忆信源—X的各时刻取值互相有关联。离散无记忆信源的数学模型—离散型的概率空间：xi∈{a1,a2,…,ak}1≤i≤I0≤q(xi)≤1离散无记忆N维扩展信源的数
3、学模型：x＝x1x2…xNxi∈{a1,a2,…,ak}1≤i≤Nq(x)＝q(x1x2…xN)＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。离散信道有时也称为数字信道。连续信道—信道的输入和输出都是时间上离散、取值连续的随机序列，又称为模拟信道。半连续信道—输入序列和输出序列一个是离散的，而另一个是连续的。波形信道—信道的输入和输出都是时间上连续，并且取值也连续的随机信号。无记忆信道—信道的输出y只与当前时刻的输入x有关。有记忆信道—信道的输出y不仅与当前时刻的输入x有关，还与以前的输入有统计关系。11离散无记忆信道的数学
4、模型—信道转移概率矩阵：信道输入、输出符号集为X、YX＝{x1,x2,…,xI}，xi∈{a1,a2,…,ak}，1≤i≤IY＝{y1,y2,…,yJ}，yj∈{b1,b2,…,bD}，1≤j≤J0≤p(yj∣xi)≤1离散无记忆N维扩展信道的特性：序列的转移概率p(y∣x)＝p(y1y2…yN∣x1x2…xN)通信中常用的概率函数讨论：信道输入符号集X＝{x1，x2，…，xi,…，xI}，输入符号xi∈{a1,a2,…,ak}，1≤i≤I；信道输出符号集Y＝{y1，y2，…，yj,…，yJ}，输出符号yj∈{b1,b2,…,bD}，1≤j≤J；输入符号xi的概
5、率记为q(xi)称为先验概率，输出符号yj的概率记为w(yj)；输入符号为xi输出符号为yj时的概率记为p(yj∣xi)称为信道转移概率，输出符号为yj估计输入符号是xi的概率记为φ(xi︱yj)称为后验概率；在输入输出XY二维联合空间上，xiyj的联合概率记为p(xiyj)。先验概率、信道转移概率、后验概率和联合概率应满足的一些性质及关系输入与输出相互独立时：11第2章信息的度量自信息量和条件自信息量一个事件的自信息量就是对其不确定性的度量。（比特）（比特）（比特）自信息量的性质：（1）I(x)是q(x)的单调递减函数；（2）信息量具有可加性；（3）当q(x)
6、=1时，I(x)=0；（4）当q(x)=0时，I(x)→∞。互信息量和条件互信息量互信息量表明两个随机事件的相互约束程度。(2-7)(2-8)³式(2-7)的物理意义：在信源发出信号前，信宿收到yj的概率为ω(yj)，其不确定性用Ｉ(yj)度量。而信源发出符号xi后，由于干扰，使信宿收到Y＝{y1，y2，…，yJ}中的哪个符号具有发散性，即信宿是否收到yj仍存有不确定性，用Ｉ(yj︱xi)度量。这二者之差就是事件发生过程中观察者所获得的信息量。³式(2-8)的物理意义：通信前X、Y统计独立，联合概率为p(xiyj)＝q(xi)ω(yj)，不确定性用–logq(x
7、i)ω(yj)＝I(xi)＋I(yj)度量。通信后，由于信道转移概率p(yj︱xi)的存在，使符号xiyj有了某种关联，联合概率p(xiyj)＝q(xi)p(yj︱xi)，发xi收yj的不确定性用I(xiyj)=–logp(xiyj)度量，二者之差就是通信过程中，xi与yj所得到的互信息量。互信息量的性质：（1）互易性：I(xi;yj)=I(yj;xi)（2）可加性：I(xi;yjzk)=I(xi;yj)+I(xi;zk︱yj)（3）当xi,yj统计独立时，互信息量I(xi;yj)＝0及条件互信息量（4）互信息量I(xi;yj)可以是正数，也可以是负数。（5）两
8、个事件的互信息量不大于单
