分布式文件系统本地数据访问的优化.pdf

《分布式文件系统本地数据访问的优化.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第31卷第6期计算机应用研究V01．31No．62014年6月ApplicationResearchofComputersJun．2014分布式文件系统本地数据访问的优化余骏，肖健，于策，孙济洲(天津大学计算机科学与技术学院，天津300072)摘要：针对当前OrangeFS中所存在的性能瓶颈，讨论分布式文件系统的优化方式，分析文件大小以及文件布局对分布式文件系统吞吐率的影响，提出一种采用共享内存与消息传递相结合的本地数据访问模型，减少了Or-angeFS对网络带宽的使用，提高了文件的读写性能。实验结果

2、证明本地数据访问模型能够提升152％的文件二次读性能、105％的文件写入性能。关键词：分布式文件系统；数据布局；共享内存；OrangeFS；优化处理中图分类号：TP316．4文献标志码：A文章编号：1001—3695(2014)06—1635—04doi：10．3969／j．issn．1001—3695．2014．06．007LocaldataaccessoptimizationindistributedfilesystemsYUJun，XIAOJian，YUCe，SUNJi—zhon(Schoolo

3、fComputerScience＆Technology，TianjinUniversity，Tianjin300072，China)Abstract：ForthebottleneckofperformanceintheOrangeFS，thispaperdiscussedthewaystooptimizethedistributedfilesystemsandanalyzedhowdiffe~’entfilesizesanddatalayoutsaffectedthesystemthroughput．

4、Thispaperproposedahybridda—taflowmodelwhichusedboththesharedmemoryandmessagepassingtooptimizethelocaldataaccess，reducingtheuseofnetworkoftheOrangeFS，increasingboththefilewriteandreadbandwidths．Theexperimentalresultsshowthatthelocaldataaccessmodeliseffec

5、tivewhichcanachieveupto152％filere-readperformanceimprovementand105％filewriteperform--anceimprovement．Keywords：distributedfilesystem；datalayout；sharedmemory；OrangeFS；processingoptimization目前世界上的数据正以惊人的速度增长着，如何充分挖掘因素。这些大数据中的潜在价值成为了各个企业问竞争的关键。大[困园圃匝回数据的信息挖

6、掘给许多计算机领域带来了新的挑战，包括分布通过网络发送文件访问请求式数据库、分布式文件系统、云计算平台⋯以及高性能网络查找文件元数据与布局信息等。与传统CPU和内存相比，I／0速度较慢，通常会成为数据通过网络返回文件的『_]元数据与布局信息处理的主要瓶颈。因此分布式文件系统作为一种提高I／0带根据文件的布局信：宽的有效途径，成为了攻克大数据难题的重要手段。息查找数据11％器根据客户端的鼗滨，写i青求操作1相关工作数据实体通过『删络返回OrangeFS是虚拟并行文件系统(PVFS)的一个分支。类似于PV

7、FS，OrangeFS是一个针对高性能计算以及高性能数据图1OrangeFS数据访问流程访问所提出的一种并行文件系统。与传统的PVFS相比，Ora—目前对OrangeFS与PVFS的改进主要涉及数据布局策略ngeFS致力于提高小文件处理的性能、增加服务器的交叉容错的优化以及小文件存储方式的优化两个方面。布局策略的优及提供安全访问控制等。OrangeFS支持多个数据服务器和元化包括：采用I／O跟踪和I／O日志来记录以往的I／O调用；通数据服务器，每个文件的数据实体通过条带化的方式分布到各过这些信息来指导

8、往后数据在不同存储节点上的布局J。个数据服务器上，布局信息则存放在每个元数据服务器的Ber—在各个存储节点上保存同一文件的不同布局方式，当有应用请keleyDB中。当用户需要访问数据时，首先访问元数据服务器求该文件时，根据请求信息判断用何种布局信息为该应用服找到文件实体的物理布局信息，然后通过网络直接与数据服务务。小文件存取性能优化包括：取消文件的布局信息以加器交互。图1描述了OrangeFS的整体数据存取过程，从图中快文件的元数据存取速度；通过数据填充