分布式文件系统元数据存取技术研究

《分布式文件系统元数据存取技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP333单位代码10618密级公开学号2130070009硕士学位论文分布式文件系统元数据存取技术研究研究生姓名：谢莉祥导师姓名及职称：宋军教授申请学位类别工学硕士学位授予单位重庆交通大学一级学科名称计算机科学与技术论文提交日期2016年5月10日二级学科名称计算机应用技术论文答辩日期2016年5月27日2016年月日ResearchonMetadataAccessTechnologyofDistributedFileSystemADissertationSubmittedfortheDegreeofMasterCandidate：XIELIXIANGSupervi

2、sor：Prof.SongJunChongqingJiaotongUniversity,Chongqing,China摘要伴随着互联网应用的飞速发展及人们消费观念的不断转变，互联网应用已经渗透到人们生活的方方面面，这带给互联网企业的不仅仅是用户量和利益的暴增，还带来了文件高并发访问和大量小文件需要存储等问题，分布式文件系统为解决这些问题提供了很好的平台。当前主流的分布式文件系统大多采用集中式元数据存储结构并且主要针对大文件存储进行设计。但是目前很多大型网站都需要存储大量图片文件，而这些图片文件大多小于1MB，主流分布式文件系统在存储小文件时存储和检索效率并不高。并且大型网站

3、的资源文件并发访问量很高，集中式结构的中心服务器已很难支撑高并发的资源请求。主流分布式文件系统在大型网站应用中存在两方面不足：（1）存储小文件时存储与检索效率不高；（2）集中式结构很难支撑高并发访问。而针对小文件存储优化的研究主要集中在两个方向：对元数据存储优化和对数据文件存储优化。由于高并发问题与元数据存储结构相关，因此本文主要从元数据存储优化方向进行研究。针对以上问题本文的主要研究内容如下：（1）提出了将有序哈希表用于存储子目录。由于分布式文件系统中子目录数动辄上万，检索速度较慢，因此文中提出构建复合数据结构有序哈希表来解决该问题。通过实验证明有序哈希表比动态数组检索速

4、度提高99.93%。（2）提出了分布式目录树结构。通过分布式目录树构建的目录系统能够将目录分散存储在不同的服务器中，并且所有数据在逻辑上保持树形结构。考虑到小文件存储占用太多元数据服务器内存，并且存储数量受到元数据服务器的内存限制，而通过将元数据分布保存到不同服务器中，则使得元数据存储容量可以通过添加元数据服务器的方式线性增加，以便能够存储更多小文件。通过实验比较分布式目录树存储空间比HDFS多使用了16.4%，而检索速度比HDFS提升了73.21%。（3）提出了将基于REST风格的HTTP协议作为分布式文件系统的服务提供方式，使用HTTP协议后浏览器能够直接与所有服务器进

5、行交互。并且通过实验证明使用HTTP协议比RPC协议能更好地利用浏览器端缓存，有效减少文件请求次数。文中通过对分布式目录树的元数据创建多个副本并保存到不同服务器中的方式，不仅提高了系统的可靠性也使得浏览器通过访问副本服务器，减少了对原数据服务器的请求次数，降低了服务器的负载。通过实验证明使用HTTP协议后部分命令的请求次数下降了35.5%。关键词：小文件存储，高并发访问，有序哈希表，HTTP，分布式目录树IABSTRACTAlongwiththerapiddevelopmentofInternetandpeople'sconsumptionconceptischanging

6、,Internetapplicationhaspenetratedintopeople'slives,WhatbringtotheInternetcompaniesisnotonlysurgeintheamountofusersandinterest,butalsobroughtthehighconcurrentfileaccessproblemandalargenumberofsmallfilesneedtostore.DistributedFileSystemhasprovidesaverygoodplatformtostorelargenumberfiles.Most

7、ofthemainstreamdistributedfilesystemsadoptcentralizedmetadatastoragestructureandmainlydesignedforbigfilestorage.Atpresent,manywebsitesneedtostorealargenumberofimagefiles,andmostoftheseimagefilesarelessthan1MB,Themainstreamdistributedfilesystemisnotgoodatstores