大规模时间序列数据存储系统研究与实现

《大规模时间序列数据存储系统研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchandImplementationofALargeScaleTime-seriesDataStorageSystemCandidate:WangJianguangMajor:Communication&InformationSystemSupervisor:AssociateProf.DuXuHuazhongUniversityofScienc

2、e&TechnologyWuhan,430074,P.R.ChinaJan,2013独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。尽我所知，除文中已标明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子

3、版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在______年解密后适用本授权书。本论文属于不保密□√。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要时间序列数据，即一段时间内以固定的时间间隔采集的数据点的序列，已成为生产生活中重要的信息记录形式。RRDtool是当今被广泛使用的一种存储时间序列数据的数据库工具，但是基于RRDtool构建的时间序列

4、数据存储系统在处理大规模数据业务时I/O负荷较重，单位时间内能够处理的RRD文件数量不能满足需求等问题；同时，数据量的迅速增长要求存储系统的容量具有较好的扩展性，特别是能够在不影响系统在线工作的情况下调整存储容量；另一方面，考虑到系统可能发生异常或部分受灾，需要一种在这些情况下能保证系统可用性的存储方案。针对上述问题，本文研究并实现了一种面向大规模时间序列数据的存储系统。构建该系统的关键部分是mem-RRD和MooseFS，前者是对RRDtool的改进实现，I/O性能更好；后者是一种分布式文件系统，可以保证存储系统的可用性和扩展

5、性。本文首先介绍了一种命名为mem-RRD的基于用户空间缓冲的RRDtool改进方案的设计和实现过程；然后给出利用mem-RRD和MooseFS构建和部署面向大规模时间序列数据的存储系统的方案，最后针对该存储系统的I/O性能、可用性和扩展性进行了详细的测试，并对测试数据进行对比和分析。测试结果证明，基于mem-RRD和MooseFS构建的面向大规模时间序列数据的存储系统在I/O性能、可用性、容量扩展性等方面都有较大改进或较好表现。关键词：时间序列数据mem-RRDMooseFSI/O性能可用性扩展性I华中科技大学硕士学位论文Ab

6、stractRRDtooliscurrentlyaverypopularfile-baseddatabaseusedtostoretime-seriesdata.However,theperformanceofanRRDtool-basedstoragesystemisquitepoorindealingwithalargequantityofRRDfilesthatneedtobeupdatedduetotheoperatingsystem’sreadaheadandbuffer-cachebehaviors,whichwil

7、lresultinlimitedscalabilityofthesystem:tensofthousandsof,orperhapsonehundredthousandofRRDfilesinasinglesystem.Anotherchallengeistheflexibilityofthesystem’scapacitywhichstoresarapidlyincreasingnumberofRRDfiles.Moreover,itissignificantandessentialtokeepthesystemhighlya

8、vailableregardlessofcomponentorsystemfailures.Inthisthesis,astoragesystemwhichcombinesmem-RRDandMooseFSforlargescaletime-seriesdata