《电工胶布使用方法》PPT课件

《《电工胶布使用方法》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论与编码基础离散信道东莞电工培训http://www.px36.com/training-215.html信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道离散信道a、根据

2、输入、输出信号的时间特性和取值特性离散信道连续信道半离散或半连续信道波形信道信息论与编码基础1、信道的分类数字信道b、根据输入集合与输出集合的个数单用户信道多用户信道一对多、多对一多对多信息论与编码基础离散信道c、根据信道转移概率的性质无噪信道有噪信道1、信道的分类实际的通信信道几乎都是有扰信道无记忆信道有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。d、按信道统计特性恒参信道变参信道卫星信道短波信道e、根据信道噪声的性质高斯噪声信道非高斯噪声信道信息论与编码基础离散信道1、信道

3、的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道2、离散信道的数学模型信道无扰（无噪）信道有扰信道无记忆信道有记忆信道信息论与编码基础离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码基础离散信道信道3、单符号离散信道例1BSC信道BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础离散信道1）条件转移概率2）转移矩阵3）转移概率图3、单符号离散信道XY0101pp1-p1-pXYa0arb0bsP(bj

4、ai)信息论

5、与编码基础离散信道一定比例的bit被删除，并且接收者知道是那些bit已经被删除。例2二进制删除信道3、单符号离散信道信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道互信息自信息条件自信息由于条件引入获得的信息量1）对称性I(ai;bj)=I(bj;ai)2）事件统计独立时I(ai;bj)=03）可正、可负4）I(ai;bj)≤I(ai)信息论与编码基础绪论练习：令随机变量x表示随机抽取人群中的性别，x＝0为男性，x＝1为女性。随机变量y表示随机抽

6、取人是否抽烟，y＝0表示抽烟，y＝1表示不抽烟。（1）若（x，y）的联合概率分布如表1－1所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。（2）若（x，y）的联合概率分布如表1－2所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。信息论与编码基础离散信道1、信道疑义度先验熵后验熵若信道中存在干扰时信道疑义度0≤H(X

7、Y)≤H(X)损失熵信息论与编码基础离散信道2、平均互信息定义3.2令为信道输入X与输出Y之间的平均互信息接收到每个输出符号后获得的关于X的平均信息量bit/sign互信息思考题设8个等概分布的消息通过传递概率为p的BSC进行传送。

8、8个消息相应编成下述码字：试问1）接收到第一个数字0与M1之间的互信息。2）接收到第二个数字也是0时，得到多少关于关于M1的附加互信息。3）接收到第三个数字仍是0时，又增加多少关于M1的互信息。4）接收到第四个数字仍是0时，再增加多少关于M1的互信息。信息论与编码基础离散信道思考题令X,Y1,Y2为二进制随机变量，1）如果I(X;Y1)=0且I(X;Y2)=0,可否推出I(X;Y1,Y2)=0?试举例说明。3）如果I(X;Y1)=0且I(X;Y2)=0，是否可推出I(Y1;Y2)=0?请说明。信息论与编码基础离散信道一、信道模型及分类二、信道疑义度与平均互信息三、

9、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码基础离散信道平均互信息接收到每个输出符号后获得的关于X的平均信息量信息传输率Rbit/sign信息论与编码基础离散信道1、非负性利用詹森不等式信源加密信道解密信宿密钥源全损信道信息论与编码基础离散信道2、极值性接收者通过信道获得的信息量不可能超过信源本身固有的信息量。0≤I(X;Y)≤H(X)3、对称性信息论与编码基础离散信道发出X后获得的关于Y的平均信息量4、与各类熵的关系信息论与编码基础离散信道损失熵噪声熵散布度：表示信道输入信号由于干扰作用在输出端表现的散布范围。H(X

10、Y)

11、H(Y

12、X