信息论与编码课程设计

《信息论与编码课程设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、河南理工大学课程设计报告书信息论与编码课程设计报告设计题目：统计信源熵、香农编码与费诺编码专业班级：XXXXXXXXXXXX姓名：XXXXXXXXXXXX学号：XXXXXXXXXXXX指导老师：XXXXXXXXXXXX成绩：时间：2015年3月31日河南理工大学课程设计报告书目录一、设计任务与要求..............................2二、设计思路....................................2三、设计流程图.......................

2、...........5四、程序及结果..................................7五、心得体会....................................11六、参考文献...................................12附录...........................................1315河南理工大学课程设计报告书一、设计任务与要求1.统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并

3、计算信源熵。2.香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。3.费诺编码要求：任意输入消息概率，利用费诺编码方法进行编码，并计算信源熵和编码效率。二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章中的种字符（包括标点符号及空格，英文字母不区分大小写）统计其出现的次数，然后计算其出现的概率，最后由信源熵计算公式：算出信源熵15河南理工大学课程设计报告书。所以整体步骤就是先统计出文章中总的字符数，然后统计每种字符的数目，直到算出所有种类的字符的个数，进而算出每种

4、字符的概率，再由信源熵计算公式计算出信源熵。在这里我选择用Matlab来计算信源熵，因为Matlab中系统自带了许多文件操作和字符串操作函数，其计算功能强大，所以计算信源熵很是简单。2、香农编码信源编码模型：信源编码就是从信源符号到码符号的一种映射，它把信源输出的符号变换成码元序列。信源编码器信源码元码符号次扩展信源无失真编码器凡是能载荷一定的信息量，且码字的平均长度最短，可分离的变长码的码字集合都可以称为最佳码。为此必须将概率大的信息符号编以短的码字，概率小的符号编以长的码字，使得平均码字长度最短。

5、能获得最佳码的编码方法主要有：香农（Shannon）、费诺（Fano）、哈夫曼（Huffman）编码等。香农第一定理：离散无记忆信源为熵,其次扩展为15河南理工大学课程设计报告书熵为,码符号集为。先对信源进行编码，总可以找到一种编码方法，构成唯一可译码，使中每个信源符号所需的平均码长满足且当时有，是平均码长，是对应的码字长度。香农编码方法：（1）将信源消息符号按其出现的概率大小依次排列:（2）确定满足下列不等式整数码长为（3）为了编成唯一可译码，计算第个消息的累加概率为（4）将累加概率变成二进制数。（

6、5）取二进制数小数点后位即为该消息符号的二进制码字。3、费诺编码方法 （1）将信源消息符号按其出现的概率大小依次排列：（2）将依次排列的信源符号按概率值分为两大组，使两个组的概率之和近似相同，并对各组赋予一个二进制码元“0”和15河南理工大学课程设计报告书“1”。（3）将每一大组的信源符号再分为两组，使划分后的两个组的概率之和近似相同，并对各组赋予一个二进制符号“0”和“1”。 （4）如此重复，直至每个组只剩下一个信源符号为止。 （5）信源符号所对应的码字即为费诺码。一、设计流程图1、统计信源熵用Ma

7、tlab读入一段英文计算这段文字的字符总数unm①②统计每种字符的个数n(i)算出每种字符的概率p(i)③④由信源熵计算公式计算出信源熵⑤2、香农编码开始输入概率矩阵将概率由大到小排列计算累加概率和概率的个数15河南理工大学课程设计报告书根据公式调用函数计算码长用循环程序编码并调整输出格式计算信源熵和编码效率输出信源熵、编码效率和码字结束1、费诺编码开始输入概率矩阵将概率由大到小排列计算累加概率和概率的个数在两组概率之和近似相等的条件下将概率分为两组，各赋予0，1两个码元15河南理工大学课程设计报告书

8、将每一大组的的概率重复上一步操作，直到每组只剩一个概率用循环程序编码并调整输出格式计算信源熵和编码效率输出信源熵、编码效率和码字结束一、程序及结果1、统计信源熵的Matlab程序functionh=entropy(p)clcfid=fopen('shuju.txt','r');%打开txt文件[ex,num]=fscanf(fid,'%c',inf)%读取二进制文件的数据，并将数据存入矩阵str1=lower(ex)%将字符串中的大写字母转换成小写字母s