基于FUSE的云数据访问与存储优化研究

《基于FUSE的云数据访问与存储优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于FUSE的云数据访问与存储优化研究作者姓名邱双旭学科专业计算机科学与技术指导教师韩国强教授所在学院计算机科学与工程学院论文提交日期2018年4月ResearchontheOptimizationofCloudDataAccessandStorageBasedonFUSEADissertationSubmittedfortheDegreeofMasterCandidate：QiuShuangxuSupervisor：Prof.HanGuoqiangSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP3学校代号：10561

2、学号：201520130783华南理工大学硕士学位论文基于FUSE的云数据访问与存储优化研究作者姓名：邱双旭指导教师姓名、职称：韩国强教授申请学位级别：工学硕士学科专业名称：计算机科学与技术研究方向：计算机应用技术论文提交日期：2018年4月20日论文答辩日期：年月日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：齐德昱委员：李拥军沃焱周杰梅登华华南理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写的成果作品。对本文的研究做

3、出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。＜：作者签名曰期：年月Ｉ曰学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，艮Ｐ：研究生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校有权保存并向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅（除在保密期内的保密论文外）；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文一。本人电子文档的内容和纸质论文的内容相致。本学位论文属于：□保密，在密后适用本

4、授权书。年解０不保密，同意在校园网上发布，供校内师生和与学校有共享协议的单位浏览；同意将本人学位论文提交中国学术期刊（光盘版）电子杂志社全文出版和编入ＣＮＫＩ《中国知识资源总库》，传播学位论文的全部或部分内容。“”（请在以上相应方框内打Ｖ）作者签名：曰期指导教师签名日期：：：作者联系电话电子邮箱联系地址：（含邮编）摘要传统互联网模式中，企业所需求的计算和存储资源需要提前进行预估。不同企业业务规模大小不同，对资源需求量也存在较大差别。同时，企业都会储备一定额外的资源，用于高峰期可能发生的业务增长，但这些资源往往无法得到充分的利用，增加了企业的

5、隐形成本。云计算时代，随着云存储技术的出现，资源利用率得到了极大的提升。本文基于用户空间文件系统FUSE，使用HDFS作为底层存储方式，提出了一种新的云数据访问与存储方案，并对其进行了一系列优化，主要包括：1）针对云存储系统中大规模数据并发访问的问题，设计了一种新的负载均衡算法，该算法根据后端服务器集群中节点的CPU、内存、磁盘资源占用等指标来计算其负载程度，同时将其实时反馈给调度器，调度器随后对该节点的权值进行动态调整，以实现服务器资源的高效利用。2）针对FUSE访问HDFS存在性能瓶颈问题，本文通过分析FUSE源代码，结合Linux文件读写过程，分别从减少CPU上下文切换时间、采用直

6、接I/O代替缓存I/O、开启部分元数据缓存三个角度对云存储方案的读写性能进行优化。实验表明，提出的优化方案带来了约20%的性能提升。3）为了提升云存储方案安全性，本文基于文件属性，实现了细粒度的文件访问控制机制。系列实验结果表明，优化以后的方案，从性能、可用性和安全性方面来看都有更好的表现。除了对已有方案进行优化外，基于优化后的方案，本文还实现了一个完整的云存储系统，并应用于大数据分析平台中，处理日均数百TB级别数据的访问和存储。总体上看，本文所提出的方案，在实际应用过程中，充分解决了业务方在数据存储方面的痛点。同时，也适用于各种不同的应用场景。关键字：云存储；FUSE；负载均衡；性能优

7、化IAbstractInthetraditionalInternetmodel,companiesneedtoestimatetherequiredcomputingandstorageresourcesinadvance.Duetothedifferentscalesofdifferentbusinesses,thedemandforresourcesisoftenquitedifferent.Atthesametime,comp