lzo实时无损压缩的硬件设计

《lzo实时无损压缩的硬件设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据THEHARDWAREDESIGNoFLZoREAL．TIMELOSSLESSCoMPRESSIONAThesisSubmittedtoSoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYShangZhuangzhuangSupervisedbyProfessorLIBingAndSeniorEngineerZHANGLixinSchoolofIntegratedCircuitsSoutheastUniversityMav2014万方数据

2、独创性声明东南大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研究生签名：东南大学学位论文使用授权声明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本

3、人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布(包括刊登)论文的全部或部分内容。论文的公布(包括刊登)授权东南大学研究生院办理。研究生签名：—乌斗芦忙一导师签名：日期：弘f眨厂、f7万方数据摘要在互联网基础上的物联网和云计算技术，使人们的生活更加智能化。然而，这些技术在发展的过程中却面临着海量数据的传输和存储等亟待解决的问题。因而，寻求一种合适的方案解决海量数据的传输和存储问题成为互联网技术和云计算技术持续发展的一项重要任务。经过调查和研究发现，目前解决此类问题的一种

4、有效且可靠的技术方案是对海量数据进行压缩处理。然而，无论是互联网技术或云计算技术，它们对数据处理的实时性要求都特别高，寻找一种合适的压缩算法，在保证压缩率适中的情况下满足实时压缩效果则显得尤为重要。LZO(Lempel．Ziv．Oberhumer)是一种被称为实时数据无损压缩的算法，该算法的平均压缩速率约为55MB／sec(2．6GHz主频)，平均压缩率约为50％。虽然LZO压缩算法取得了适中的压缩率和实时的压缩速率的优点，但是在面对互联网和云计算海量数据处理时，如果采用软件压缩海量数据，LZO压缩算法的执行过程会占

5、用大量的CPU资源，另外，由于软件串行执行的特点使得该算法的实时性不能充分发挥。为此，本论文提出一种全新的硬件结构，利用硬件的并行性等特点使LZO压缩算法特性得以发挥，同时释放了算法执行过程中占用的CPU资源。通过进一步对LZO压缩算法进行研究，针对性的提出基于该硬件结构的加速方案，使得LZO压缩算法压缩速率和压缩率均有所提升。采用Altera公司的SOPCBuilderI具将LZO压缩算法模块与Altera公司的相关IP(IntellectualProperty)模块搭建成SOPC(SystemOnProgramm

6、ableChip，Altera公司提出的一种概念)，同时在IDE(IntegratedDevelopmentEnvironment)平台上编写C语言，最终在AlteraEP2C35FPGA(FieldProgrammableGateArray)DE2开发板上对LZO压缩算法模块及SOPC进行测试和验证。本论文针对性的提出一种全新的LZO压缩算法硬件结构，并在该结构的基础上提出多种加速方案，使得LZO压缩算法压缩速率相比软件提升4．81倍，压缩率相比软件提升1．37％，同时LZO压缩算法模块FPGA综合频率约为134M

7、Hz，全部达到设计指标。本论文所做的一些工作为LZO压缩算法应用于互联网技术和云计算技术中处理海量数据的传输和存储提供参考及可能。关键词：LZO，无损压缩，硬件设计，SOPC，Avalon总线，FPGA万方数据AbstractWiththedevelopmentofIntemettechnologyandcloudcomputingtechnology,thelifeofpeoplehasbecomeintelligent．However,thesetechniques’Sdevelopmentisfacingwit

8、hproblems，i．e．themassivedatatransmissionandstorage．Therefore，findingapropersolutiontothetransmissionandstorageofmassisvedataofIntemettechnologyandcloudcomputinghasbecomeanim