信息论课程设计报告56227new

《信息论课程设计报告56227new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息论课程设计报告指导老师：雷菁学院：电子科学与工程学院队别：四院五队姓名：张博学号：09040115国防科学技术大学电子科学与工程学院统计信源熵一．设计要求1.统计文件“课程设计大作业2_处理的对象.txt”的一阶信源熵、二至五阶的联合信源熵、一至五阶的条件熵。2.把上述文件中的内容当作一个字符串，编程实现BWT和MTF算法。3.编程实现BWT的解码（从BWT之后的最后一列和矩阵行数,解码得到原始字符串），并和原始字符串进行比较,检查解码是否成功。4.对经过BWT之后的最后一列字符串、经过MTF处理之后的字符串，再

2、进行上述第1项的工作。5.分析各信源熵的大小及其变化。二．思路阐述（1）各种熵的计算信息熵q1HX()[()]==EIai∑Pa()logii=1Pa()i联合熵qq11HXX()12==∑∑Pxx()12log∑∑Paa()ijlogXX12Pxx()12ij==11Paa()ij条件熵强可加性：H(X1…XN)=H(X1)+H(X2

3、X1)+…+H(XN

4、X1…XN-1)因此，由联合熵即可求得条件熵。如：H(X2

5、X1)=H(X1X2)-H(X1)，H(X3

6、X1X2)=H(X1…X3)-H(X1X2)……（2）

7、bwt算法阐述步骤如下：信源分块，固定长度字符串；循环移位，形成置换矩阵；矩阵各行排序，形成新矩阵；编两个量：最后一列+原字符串的行号。例如：Tobecoded:ACUSAB正方形矩阵；行之间：循环移位关系；列之间：循环移位关系；新矩阵具有新特性：最后一列中，相同字符所在的行，它们在矩阵中的先后次序，和第一列中，该字符所在的行，的先后次序，是一致的。最后一列中，相同字符所在的行，它们在矩阵中的先后次序，和第一列中，该字符所在的行，的先后次序，是一致的。假设把最后一列移位到第一列，并重新调节各新形成的行的先后次序，则，

8、那些相同字符所在的行，其先后次序，是不变的。解码步骤如下：1解两个量：最后一列+原字符串的行号。2由最后一列，排序，得第一列；3由第一列和最后一列的字母位置关系，推导出任一行；4由原始字符串行号，得之；******某个字符的下一个字符，是最后一列中，该字符所在行的第一列中的字符；（3）MTF算法MTF算法即Movetofrontalgorithm。三．实现流程及结果利用MicrosoftVisualC++6.0编程环境按照5项要求依次完成，结果如下：1.统计文件“课程设计大作业2_处理的对象.txt”的一阶信源熵、二

9、至五阶的联合信源熵、一至五阶的条件熵。此为要求处理的对象，将其命名为“exp.txt”以进行后续处理。“source_entropy_final”为对熵进行计算的工程。计算结果为：一阶二阶三阶四阶五阶信源熵4.632147.769.365249.9825810.3066一阶二阶三阶四阶五阶条件熵4.632143.127861.605240.617340.32401运行情况如下：2.把上述文件中的内容当作一个字符串，编程实现BWT和MTF算法。(a).题目所给原始文件为“exp.txt”,BWT后得到文件为”expbw

10、t.txt”。运行情况如下：(b).题目所给原始文本文件为“exp.txt”,经MTF后得到文件为”expmtf.txt”。运行情况如下：3.编程实现BWT的解码（从BWT之后的最后一列和矩阵行数,解码得到原始字符串），并和原始字符串进行比较,检查解码是否成功。对BWT编码后得到的文件“expbwt.txt”进行BWT解码（decodebwt），将解码后文件与原文件比较，实现了正确解码。其中行数为476。4.对经过BWT之后的最后一列字符串、经过MTF处理之后的字符串，再进行上述第1项的工作。对经过BWT编码得到的文

11、件“expbwt.txt”进行熵计算：对经过MTF的文件“expmtf.txt”进行熵计算：5.分析各信源熵的大小及其变化。由上述结果知：(a).熵的强可加性，联合熵随着阶数增加非递减，平均符号熵非递增；(b).条件熵随着N的增加非递增；(c).经过BWT，一阶熵不变，二阶熵变小；(d).经过MTF，熵变小。四．源代码解析（略）五．心得体会体会有两方面：1.纸上学来终觉浅，须知此事要躬行。书本上关于信源熵的介绍很详细；但是面对实际问题，就会有很多困难，如设计思路，编程技巧等。通过此次实验我对熵的概念和特性有了进一步的

12、理解；2.对于压缩编码，BWT是很漂亮的码字，如何实现是个难点，因此需要大量查阅资料进行学习，通过学习后对BWT的实现方式有了一定掌握。