基于一致性哈希的分层混合存储系统设计与实现

《基于一致性哈希的分层混合存储系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、M201572692分类号__________学号______________学校代码__________10487密级______________硕士学位论文基于一致性哈希的分层混合存储系统设计与实现学位申请人：李晶学科专业：计算机技术指导教师：冯丹教授陈俭喜副教授答辩日期：2017.05.23万方数据ADissertationSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringDesignandImplementationofHierarchicalHybridStorageSyste

2、mBasedonConsistentHashingCandidate:LiJingMajor:ComputerTechnologySupervisor:Prof.FengDanAssoc.Prof.ChenJianxiHuazhongUniversityofScience&TechnologyWuhan,Hubei,430074,P.R.ChinaMay,2017万方数据独创性声明本人声明所呈交的学位论文是我个人在导师的指导下进行的研究工作及取得的研究成果。近我所知，除文中已标明引用的内容外，本论文不包含任何其他人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以

3、明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在______年解密后适用本授权书。本论文属于不保密□（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要大数据时代，数据海量增涨，支持低成本、

4、大容量、高效率存储是构建存储系统的关键。研究表明，根据80/20定理，80%的请求访问了20%的数据，即大部分的请求集中于对小文件、热数据的访问。传统硬盘（HDD）和纠删码存储策略适用于大文件、冷数据存储；新型固态硬盘（SSD）和副本存储策略适用于小文件、热数据存储。因此针对不同特性数据选择不同存储介质及存储策略已成为发展趋势。在OpenStackSwift对象存储系统的基础上，本文根据存储介质、存储策略的差异性，设计分层一致性哈希环，对应固态硬盘集群和传统磁盘集群分别构建固态硬盘集群哈希环（SSDRing）和传统磁盘集群哈希环（HDDRing），其中固态硬盘集群采用三副本的存储策略，传统磁盘

5、集群采用纠删码存储策略。存储对象通过其重要性、访问频率、容量等指标进行分层存储，使得热数据、小文件采用副本存储策略，通过SSDRing分配到固态硬盘集群；冷数据、大文件采用纠删码存储策略，通过HDDRing分配至传统磁盘集群。此外引入监控系统模块，确定不同时间段采集数据频率及其迁移阈值，提出数据迁移调度策略。监控系统定期监控固态硬盘集群使用率，当固态硬盘集群存储容量超过其阈值时，按数据访问次数和最后访问时间两个指标选择确定冷数据，将其迁移至传统磁盘集群，实现降级迁移调度策略。升级迁移调度策略引入温数据概念，减少因偶然事件引起的不必要数据迁移。当传统磁盘集群中某数据在一定时间段被频繁访问，该数据

6、热度标志位由冷、温标志上升至热标志，则认定数据再次变热，触发升级调度，将其迁移至固态硬盘集群。实验表明，针对负载特性进行分层存储，根据存储对象特点提供不同存储介质及存储策略，增强系统灵活性、提高系统读写性能，并保证其稳定性。关键词：混合存储系统分层存储一致性哈希迁移调度I万方数据华中科技大学硕士学位论文AbstractInbigdataera,howtostorethemassivedataefficiently,withverylargecapacityandinlowcostwayisthekeyforstoragesystem.Accordingtothelawof80/20,inmos

7、ttime,80%oftherequestsaccesstoonly20%ofalldata.Thatis,themostrequestsfocusonthesmallfileandhotdata.HardDiskDrives(HDD)anderasurepolicyaresuitableforstoringbigandcolddata.Onthecontrary,SolidStateDrives