实验一离散信源及其信息测度

《实验一离散信源及其信息测度》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、信息论与编码实验报告实验一离散信源及其信息测度专业班级学号姓名成绩实验一离散信源及其信息测度一、[实验目的]离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。二、[实验环境]　　windowsXP,MATLAB三、[实验原理]信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下信源熵是信源的统计平均不确定性的描述，是概率函数的函数。四、[实验内容]1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将2

2、7个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0

3、u0)=3/4,p(v0

4、u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量；五、[实验过程]每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法；1)设计思路1、每字符从26个英

5、文字母和1个空格中等概选取，一共100个字符，那么可以组成27^100条消息，每条消息出现的概率是1/（27^100），由自信息量公式可得每条消息的自信息量。程序代码：clearall,clc;H1=log2(27^100)程序结果：H1=475.48882、求出各种条件概率，将其代入信息量公式计算信息量。程序代码：p_u0=1/2;p_v0_u0=3/4;p_v0_u1=1/2;p_v1_u0=1-p_v0_u0;H_V_u0=p_v0_u0*log2(p_v0_u0)-p_v1_u0*log2(p_v1_u0)p_u1=1-p_u0;p_v1_u1=1-p_v0_

6、u1;p_u0v0=p_v0_u0*p_u0;p_u0v1=p_v1_u0*p_u0;p_u1v0=p_v0_u1*p_u1;p_u1v1=p_v1_u1*p_u1;H_V_U=-p_u0v0*log2(p_v0_u0)-p_u0v1*log2(p_v1_u0)-p_u1v0*log2(p_v0_u1)-p_u1v1*log2(p_v1_u1)程序结果：H_V_u0=0.1887H_V_U=0.90562)实验中出现的问题及解决方法；实验中遇到的问题有很多，如各种概率空间的计算，弄混，概念不清楚，公式不熟悉，对信息论的定理概念及意义不理解，不能灵活运用。对于各种概率的

7、计算，需要准确分析，然后逐一进行计算。信息论的定理概念及意义，翻书查阅，尽可能的熟悉，理解，并加以运用。六、[实验总结]通过实验，回顾了各种概率的求解方法，该实验主要是计算消息的信息量，信息熵。在实验过程中，不断地学习查阅课本，巩固了上课的知识，对所学的定理和公式有了更加深刻的认识和理解。