《信息论与编码》PPT课件

《《信息论与编码》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码基础信息论与编码基础离散信道信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道离散信道a、根据输入、输出信号的时间特性和取值

2、特性离散信道连续信道半离散或半连续信道波形信道信息论与编码基础1、信道的分类数字信道b、根据输入集合与输出集合的个数单用户信道多用户信道一对多、多对一多对多信息论与编码基础离散信道c、根据信道转移概率的性质无噪信道有噪信道1、信道的分类实际的通信信道几乎都是有扰信道无记忆信道有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。d、按信道统计特性恒参信道变参信道卫星信道短波信道e、根据信道噪声的性质高斯噪声信道非高斯噪声信道信息论与编码基础离散信

3、道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道2、离散信道的数学模型信道无扰（无噪）信道有扰信道无记忆信道有记忆信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道信道3、单符号离散信道例1BSC信道BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础离散信道1）条件转移概率2）转移矩阵3）转移概率图3、单符号离散信道XY0101pp1-

4、p1-pXYa0arb0bsP(bj

5、ai)信息论与编码基础离散信道一定比例的bit被删除，并且接收者知道是那些bit已经被删除。例2二进制删除信道3、单符号离散信道信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道1、信道疑义度先验熵后验熵若信道中存在干扰时信道疑义度0≤H(X

6、Y)≤H(X)损失熵2、互信息量和条件互信息量①互信息量②互信息的性质③条件互信息量信息论与编码基础离散信道①互信息量互信息量定义

7、举例互信息量的三种不同表达式信息论与编码基础离散信道互信息量定义X—信源发出的离散消息集合；Y—信宿收到的离散消息集合；信源通过有干扰的信道发出消息传递给信宿；信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果；最简单的通信系统模型：信源X、信宿Y的数学模型为信息论与编码基础离散信道先验概率：信源发出消息xi的概率p(xi)。后验概率：信宿收到yj后推测信源发出xi的概率p(xi/yj)。互信息量：yj对xi的互信息量定义为后验概率与先验概率比值的对数。信息论与编码基础离散信道举例某地二月份天气构成的

8、信源为收到消息y1：“今天不是晴天”收到y1后：p(x1/y1)=0，p(x2/y1)=1/2，p(x3/y1)=1/4，p(x4/y1)=1/4信息论与编码基础离散信道计算y1与各种天气之间的互信息量对天气x1，不必再考虑对天气x2，对天气x3,对天气x4结果表明从y1分别得到了各1比特的信息量；或者说y1使x2，x3，x4的不确定度各减少量1比特。信息论与编码基础离散信道互信息量的三种不同表达式观察者站在输出端信息论与编码基础离散信道发送接收？？理想情况：互信息量的三种不同表达式观察者站在输出端自信息量：对yj一无所知的

9、情况下xi存在的不确定度；条件自信息量：已知yj的条件下xi仍然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。实际是从yj得到的关于xi的信息量。信息论与编码基础离散信道观察者站在输入端信息论与编码基础离散信道发送接收？？理想情况：观察者站在输入端站在输入端观察，观察者在输入端出现xi前、后对输出端出现yj的不确定度有变化，即从xi中也可提取关于yj的信息量。观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。信息论与编码基础离散信道观察者站在通信系统总体立场上信

10、息论与编码基础离散信道通信前发送接收观察通信系统：观察者站在通信系统总体立场上信息论与编码基础离散信道通信后发送接收观察者站在通信系统总体立场上通信前：输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立：p(xiyj)=p(xi)p(yj)先验不确定度通信后：输入随机变量