离散信道及其信道容量ppt课件.ppt

《离散信道及其信道容量ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道根据输入、输出信号的时间特性和取值特性离散信道连续信道半离散或半连续信道波形信道信道的分类数字信道根据信道的用户多少单用户信道多用户信道一对多、多对一多对多信息论与编码基础离散信道根据信道转移概率的性质无扰信道有扰信道实际的通信信道几乎都是有

2、扰信道无记忆信道有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。按信道统计特性恒参信道变参信道卫星信道短波信道根据信道噪声的性质高斯噪声信道非高斯噪声信道信道的分类信息论与编码基础离散信道离散信道的数学模型信道无扰（无噪）信道有扰信道无记忆信道有记忆信道信息论与编码基础离散信道信道单符号离散信道例1BSC信道BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础离散信道条

3、件转移概率转移矩阵转移概率图XY0101pp1-p1-pXYa0arb0bsP(bj

4、ai)信息论与编码基础离散信道单符号离散信道一定比例的bit被删除，并且接收者知道是那些bit已经被删除。例2二进制删除信道信息论与编码基础离散信道单符号离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道先验熵后验熵若信道中存在干扰时信道疑义度0≤H(X

5、Y)≤H(X)损失熵信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息

6、论与编码基础离散信道信息论与编码基础离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础离散信道平均互信息定义令为信道输入X与输出Y之间的平均互信息接收到每个输出符号后获得的关于X的平均信息量bit/sig互信息信息论与编码基础离散信道信息传输率不确定性消除的多少获得信息量的大小互信息由于条件引入获得的信息量1）对称性I(ai;bj)=I(bj;ai)2）事件统计独立时I(ai;bj)=03）可正、可负4）I(ai;bj)≤I(ai

7、)信息论与编码基础离散信道平均互信息互信息关系：含义：I(x;y)表示由随机事件y中获得关于事件x的信息(1)I(X;Y)与I(x;y)(2)I(X;Y)与熵共同点：统计平均不同点：提供与获得信息论与编码基础离散信道平均互信息是互信息的统计平均值。信息论与编码基础离散信道平均互信息信息论与编码基础离散信道平均互信息常用计算公式信息论与编码基础离散信道条件互信息与平均条件互信息给定X、Y、Z三个离散概率空间，其连接关系为系统1系统2XYZ系统1YZX信息论与编码基础离散信道小结信道基本信道信源发送的信息量信道损失的信息量输出端获得的信息量H(X)信源熵H(

8、X

9、Y)信道疑义度损失熵I(X;Y)平均互信息信息传输率信息论与编码基础离散信道例：两枚硬币，一枚是正常币（一面是面值，一面是国徽）。一枚不正常币（两面都是面值）。随机取一枚，抛掷2次。问：出现面值的次数对于硬币识别提供多少信息量？1、非负性利用詹森不等式信源加密信道解密信宿密钥源全损信道信息论与编码基础离散信道2、极值性接收者通过信道获得的信息量不可能超过信源本身固有的信息量。0≤I(X;Y)≤H(X)信息论与编码基础离散信道3、对称性发出X后获得的关于Y的平均信息量信息论与编码基础离散信道4、与各类熵的关系损失熵噪声熵H(X

10、Y)H(Y

11、X)I(X;

12、Y)H(XY)H(X)H(Y)信息论与编码基础离散信道5、的凸函数性于是信息论与编码基础离散信道例1设二元对称信道的输入概率空间为其信道特性如图，求平均互信息。定理在信道转移概率给定的条件下，平均互信息是输入信源概率分布的型凸函数。XY0101pp1-p1-p00.51ωI(X;Y)1-H(p)00.51ωH(ω)1信源熵信息论与编码基础离散信道定理在输入信源概率分布给定的条件下，平均互信息是信道转移概率分布的型凸函数。例1（续）当p=0时当p=1时当p=1/2时00.51pI(X;Y)H(ω)信息论与编码基础离散信道信息论与编码基础离散信道信息论与编码

13、基础离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道