iaas中基于热点数据的存储系统研究与实现

《iaas中基于热点数据的存储系统研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文IaaS中基于热点数据的存储系统研究与实现RESEARCHANDIMPLEMENTATIONOFCLOUDSTORAGESYSTEMBASEDONHOTDATAINIAAS张明哈尔滨工业大学2015年6月国内图书分类号：TP393学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文IaaS中基于热点数据的存储系统研究与实现硕士研究生：张明导师：季春光副教授申请学位：工程硕士学科：计算机技术所在单位：计算机科学与技术学院答辩日期：2015年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP393U.D.C:621.3Dissert

2、ationfortheMasterDegreeinEngineeringRESEARCHANDIMPLEMENTATIONOFCLOUDSTORAGESYSTEMBASEDONHOTDATAINIAASCandidate：ZhangMingSupervisor：Assoc.Prof.JiChunguangAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June

3、,2015Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着移动互联的兴起和大数据时代的来临，非结构化数据规模呈爆炸性增长，如何处理和存储大数据成为当务之急。云存储有效地解决了大数据存储问题，云存储系统通过整合和管理广泛分布的存储资源，以低成本、高可靠性，为使用者提供高性能、按需的存储服务。然而，现有的存储系统未考虑数据热[1]度问题，Rabinovich等人的研究表明，数据在存储系统中通常按Zipf分布访问，如何充分利用数据的热点效应成为提升云存储系统性能的关键。论文以当今热

4、门的OpenStackSwift云存储系统为平台，首先研究了Swift存储系统的架构设计与实现方式，分析得出：Swift传统架构在小规模存储背景下代理节点利用率不足，开销大等缺点。在此基础上提出将存储节点和代理节点结合的增强型节点方案，有效提升系统的性价比。针对代理节点中存储空间有限的问题，提出将热点分区动态迁移至代理节点的思想，这既充分利用代理节点的高性能，又有效控制代理节点的存储容量。首先，论文创新性的提出了基于预测的热点数据统计模型。通过分析数据的流行趋势，预测出数据未来的访问量，并采用多周期热点统计算法分析数据在不同周期内的下载频率，定量的描述出数据的热度值，并能有效克

5、制热点数据访问激增造成的热度值波动；以数据整体的热度值为依据，提出了热点分区动态迁移策略，该策略综合考虑分区的大小和热度值，通过爬山算法将热点分区迁移至代理节点中，同时提出了饥饿值策略，将非热点分区按饥饿值迁出到其余存储节点中，保证系统的负载均衡。其次，针对热点数据高并发访问造成的性能瓶颈，论文提出了基于热点的反向代理缓存策略，将Web中的反向代理缓存技术与Swift融合，将热点数据缓存在内存中，做到内存级响应与计算，从而有效缓解了高并发访问时内部存储节点的压力，提高了系统的响应速度和并发处理能力。最后，论文通过使用开源性能评测工具Cosbench，对系统进行评测。通过修改Co

6、sbench的源码，模拟三种热点访问场景：等概率均匀热、周期性阶段热以及永久性持续热，并在三种场景下分析系统性能。实验显示，基于热点的云存储系统能够有效提高系统的吞吐率，缩短响应时间，加快执行速度。关键词：OpenStackSwift；热点数据；动态迁移；预测；反向代理缓存I哈尔滨工业大学工程硕士学位论文AbstractWiththearrivalofmobileInternetandbigdata,thesizeofunstructureddatagrowsinanexplosivefashion.Howtohandleandstorethebigdatabecomesani

7、mperativechallengetoday.Cloudstoragemakesitpossibletostorebigdata,itintegratesandmanageswidelydistributingstoragedevicestoprovidehigh-performanceandlowcoststorageserviceondemand.However,theheatofdataisnotconsideredinexistingstoragesystems,astudybyR