信息论与编码实验报告.doc

《信息论与编码实验报告.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、信息论与编码实验讲义宋毅淮阴师范学院物电学院2012年9月15日2序言本实验讲义配合电子信息类专业开设的专业课《信息论与编码》而编写，作为《信息论与编码》的配套讲义，供该课程配套实验用。信息论与编码是现代信息科学的基础技术之一，也是理论与实践不可分离的一门学科，本讲义力求注重实践和培养学生动手能力，同时注重信息技术的仿真应用实验。由于水平限制，书中难免有不足和差错之处，恳请广大师生批评指正。编者2012年9月22实验一、绘制二进制熵函数曲线一、实验目的1．掌握二进制符号熵的计算；2．掌握MATLAB的应用；3．掌握Matlab

2、绘图函数；4．掌握、理解熵函数表达式及其性质二、实验条件计算机一台，MATLAB仿真软件。三、实验内容（1）MATLAB的应用（请参阅相关书籍）（2）打开MATLAB，在命令窗口中输入eidt，弹出编辑窗口，如图1：图1MATLAB的编辑窗口（3）输入源程序：clear;x=0.001:0.001:0.999y=-x.*log2(x)-(1-x).*log2(1-x);plot(x,y);gridon（4）保存文件为entropy.m；（5）单击Debug菜单下的Run，或直接按F5执行；（6）执行后的结果图2：四、实验分析c

3、lear;x=0.001:0.001:0.99922y=-x.*log2(x)-(1-x).*log2(1-x);plot(x,y);xlabel('p');ylabel('H(p)');title('H(p)');gridonclear;x=0.001:0.02:0.999y=-x.*log2(x)-(1-x).*log2(1-x);plot(x,y);xlabel('p');ylabel('H(p)');title('H(p)');gridon22clear;x=0.009:0.002:0.991y=-x.*log2(x)

4、-(1-x).*log2(1-x);plot(x,y);xlabel('p');ylabel('H(p)');title('H(p)');gridon22分析总结：（1）熵函数是一个严格上凸函数（2）熵的极大值，二进符号的熵在p(x1)=p(x2)=0.5取得极大值（3）调调整p(x1)的取值步长，重画该曲线。当步长改变为0.02，步长变大的时候，可以看到函数图像有一段缺失,且图像不对称。（4）调整p(x1)的取值区间可以发现（3）的问题就解决了，函数图像仍有缺失，但是图像对称。可以发现当步长改变时，p(x1)取值区间也应该改

5、变，否则图像不对称（5）当二元信源符号0和1以等概率发生的时候，信源熵达到极大值，等于1bit信息量。（6）实验需要多次操作，不断改变数值，观察图像，会有意想不到的结果出现。例如概率p的取值以及取p时的步长的改变，图像也随之改变，另外p是对称出现的而不是只有一端缺失。实验二、一般信道容量计算一、实验目的1．熟悉工作环境及Matlab软件2．理解平均互信息量表达式及其性质3．理解信道容量的含义二、实验原理1.平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之差，是互信息量的统计平均:2.离散信道的数学模型

6、离散信道的数学模型一般如图1所示。图中输入和输出信号用随机矢量表示，输入信号为X=(X1,X2,…,XN)，输出信号为Y=(Y1,Y2,…,YN)；每个随机变量Xi和Yi又分别取值于符号集A={a1,a2,…,ar}和B={b1,b2,…,bs}，其中r不一定等于s；条件概率P(y

7、x)描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。YX信道22图1离散信道模型二元对称信道这是很重要的一种特殊信道（简记为BSC），。它的输入符号X取值于{0,1}，输出符号Y取值于{0,1}，r=s=2，a1=b1=0，a2=

8、b2=1，传递概率为,,其中，表示信道输入符号为0而接收到的符号为1的概率，表示信道输入符号为1而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率，通常用p表示。而和是无错误传输的概率，通常用表示。X1-pY二元对称信道用矩阵来表示，即得二元对称信道的传递矩阵为依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表示，即b1b2…bs并满足式（）。22为了表述简便，记，信道的传递矩阵表示为而且满足平均互信息平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X的信息量，也表示输入与输出两个随机变量之间的

9、统计约束程度。其中X是输入随机变量，Y是输出随机变量。平均互信息是互信息（即接收到输出符号y后输入符号x获得的信息量）的统计平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。对于每一个确定信道，都有一个