海量规模下高性能对象存储服务技术的研究

《海量规模下高性能对象存储服务技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、····万方数据······上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日···万方数据···万方数据···上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通

2、大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密，在年解密后适用本授权书。本学位论文属于不保密。（请在以上方框内打“X”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日···万方数据···万方数据···上海交通大学硕士学位论文摘要海量规模下高性能对象存储服务技术的研究摘要随着对象存储技术的不断深入人心，目前已经涌现出一大批功能相近接口相似的对象存储系统。然而，由于对象存储系统实现的多样性以及每个系统本身的复杂性，外加缺乏模拟对象存储应用的通用负载工具，导致人们不仅难以在众多的系统中选出最适合当前

3、应用场景的解决方案，同时也无法有效对这些解决方案进行系统调优以及性能优化。为了应对上述问题，本文提出了对象存储的应用模型，并在此基础上设计并实现了对象存储性能基准测试工具：COSBench。COSBench具有很好的可扩展性、可伸缩性、灵活性，以及易用性，从而使得人们能够方便地将 COSBench适配至异构的存储系统，并模拟出各类不同的测试场景，包括那些 极端的使用模式。目前，COSBench用于支持Intel内部多个对象存储系统的性 能评估以及系统调优工作。此外，COSBench也成功地得到了10多个企业客户的使用以及认可。在未来，COSBench将转为开源软件，从而使得更多的

4、人能够接触到这款工具。在系统调优以及性能优化方面，本文以OpenstackSwift为案例，探讨了该 系统在4种不同使用场景下的性能瓶颈以及硬件资源使用模式，并在此基础上 提出了相应的系统调优方案以及性能优化方案。此外，本文还对Swift系统的源代码进行了剖析、对实验经验进行了总结，并对除性能外的其他重要系统属性进行了相关的介绍以及说明。结合本文的成果，人们可以针对不同的使用场景以及性能瓶颈来更加合理地部署Swift系统，从而能够在给定的性能要求下，尽可能地降低构建系统所需的成本。于此同时，本文的实验数据也可帮助人们更好地挖掘系统潜在的性能优化机遇，并更有针对性地改进现有的系统架

5、构以及算法设计，从而能够在给定的预算条件下，尽可能地提高系统的总体性能。关键词：对象存储、基准测试、性能刻画、系统调优、性能优化—i—万方数据···万方数据···上海交通大学硕士学位论文ABSTRACTHighPerformanceObjectStorageServiceforInternetScaleWorkloadABSTRACTWithobjectstoragesystemsbeingincreasinglyrecognizedasarightwaytoex- poseone’sstorageinfrastructuretotheweb,thepastfewyearshav

6、ewitnessedanex- plosionintheacceptanceofthesesystems.Unfortunately,theproliferationofavailable solutionsandthecomplexityofeachindividualone,coupledwithalackofnontrivial workloadmodelingnovelobjectstorageapplications,makesitverychallengingforone toevaluateandtunetheperformanceofdifferentsystems

7、indifferentscenarios.Tohelpaddressthisproblem,wepresentCloudObjectStorageBenchmark(COS- Bench)withadedicatedmodeltoabstractobjectstorageapplications.COSBenchis highlyextensible,scalable,flexible,andeasytouse,allowingitsuserstoadaptthevery toolt