信息论与编码实验指导书

《信息论与编码实验指导书》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、《信息论与编码》实验指导书信息与通信工程学院信息工程系2014年6月目录实验一绘制信源熵函数曲线4实验二哈夫曼编解码7实验三离散信道容量131实验一绘制信源熵函数曲线一、实验目的1.掌握离散信源熵的原理和计算方法。2.熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。3.理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。二、实验原理1.离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。设第i

2、个变量xi发生的概率为pi=P{X=xi}。则：定义一个随机事件的自信息量I（xi）为其对应的随机变量xi出现概率对数的负值。即：I（xi）=-log2p(xi)定义随机事件X的平均不确定度H（X）为离散随机变量xi出现概率的数学期望，即：单位为比特/符号或比特/符号序列。平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。必须注意一下几点：a)某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分

3、布）。b)信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。a)熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等，但含义不同。b)当某一符号xi的概率p(xi)为零时，p(xi)logp(xi)在熵公式中无意义，为此规定这时的p(xi)logp(xi)也为零。当信源X中只含有一

4、个符号x时，必有p(x)=1，此时信源熵H（X）为零。例1-1，设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q，p+q=1，即信源的概率空间为则该二元信源的信源熵为：H(X)=-plogp–qlogq=-plogp–(1-p)log(1-p)即：H(p)=-plogp–(1-p)log(1-p)其中0≤p≤1P=0时，H(0)=0P=1时，H(1)=02.MATLAB二维绘图例对函数y=f(x)进行绘图，则用matlab中的命令plot(x,y)就可以自动绘制出二维图来。如果打开过图形窗口，则在最近打开的图形窗口上绘制此图；如果未打开图

5、形窗口，则开一个新的图形窗口绘图。例1-2，在matlab上绘制余弦曲线图，y=cosx，其中0≤x≤2p。>>x=0:0.1:2*pi；%生成横坐标向量，使其为0，0.1，0.2，…，6.2>>y=cos(x)；%计算余弦向量>>plot(x,y)%绘制图形三、实验内容用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。四、实验要求1.提前预习实验，认真阅读实验原理以及相应的参考书。2.认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。3.认真填写实验报告。五、实验结果：1、程序如下：p=0:0.001:1;h=-p.*log2

6、(p)-(1-p).*log2(1-p);h(1)=0;h(end)=0;plot(p,h)xlabel('概率p');ylabel('信道容量');2、图形如下：3、信源熵的物理意义：熵是在平均意义上来表征信源的总体特性的,可以表征信源的平均不确定。1实验二哈夫曼编码一、实验目的1.掌握哈夫曼编码的原理及编码步骤2.练习matlab中哈夫曼编码函数的调用及通信工具箱的使用二、实验原理通信的根本问题是如何将信源输出的信息在接收端的信宿精确或近似的复制出来。为了有效地复制信号，就通过对信源进行编码，使通信系统与信源的统计特性相匹配。若接收端要求无失真地精确地复制信源输出

7、的信息，这样的信源编码即为无失真编码。即使对于一个小的时间段内，连续信源输出的信息量也可以是无限大的，所以对其是无法实现无失真编码的；而离散信源输出的信息量却可以看成是有限的，所以只有离散信源才可能实现无失真编码。凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可以称为最佳码。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。变字长编码的最佳编码定理：在变字长码中，对于概率大的信息符号编以短字长的码；对于概率小的信息符号编以长字长的码。如果码字长度严格按照符号概率的大小顺序排列，则平均码字