一种面向分布式文件系统的文件预取模型的设计与实现-论文.pdf

《一种面向分布式文件系统的文件预取模型的设计与实现-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第41卷第7期计算机科学Vo1．41NO．72014年7月ComputerScienceJuly2014一种面向分布式文件系统的文件预取模型的设计与实现师明。刘轶唐歌实。(北京航天飞行控制中心北京100094)(北京航空航天大学计算机学院中德联合软件研究所北京100191)(航天飞行动力学技术重点实验室北京100094)。摘要如何为上层应用和计算提供稳定高效的文件I／0性能，是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征，基于此提出一种通用型的启发式文件预取模型，并选取HDFS平台进行系统实

2、现。启发式文件预取对上层应用透明，采用在文件系统内部建立预取线程池的方法，以组成文件块的数据存储文件为预取单位，在分布式文件系统内部实现。这种设计思路具有一定的普适性，适合推广应用于多种分布式文件系统。实验结果表明，所述的启发式文件预取，能够有效提升分布式文件系统的I／O性能。关键词分布式文件系统，文件预取，启发式，HDFS中图法分类号TP393文献标识码ADOI10．118965．issrL1002—137X．2014．07．005DesignandImplementationofFilePrefetchingModu

3、leOrientedtoDistributedFileSystemSHIMing’。IdUYiTANGGe-shi·。(BeijingAerospaceControlCenter，Beijing100094，China)(Sino-GermanJointSoftwareInstitute，SchoolofComputerScienceandEngineering，BeihangUniversity，Beijing100191，China)(NationalLaboratoryofScienceandTechnologyo

4、nAerospaceFlightDynamics，Beijing100094，China)。AbstractHowtoprovideastableandefficientfileI／0performancefortheupperapplicationandcomputing，istheperformanceresearchhotspotorientedtodistributedfilesystem．Thispaperanalyzedthemechanisminthedesignofthedistributedfilesy

5、stemonthecommonfeatures，presentedageneral—purposefileprefetchingheuristicmodule，andse-lectedHDFSplatformsystemtoimplement．Theheuristicfileprefetchingmoduleservicestheupperapplicationandac—complishestheimplementationintheinterna1ofdistributedfilesystem，usingthemet

6、hodofestablishingprefetchingthreadpoolwithinthefilesystem，andthedatanotblockasprefetchingunit．Thisideahascertainuniversality，andissuitableforavarietyofdistributedfilesystems．Experimentalresultsshowthattheheuristicfileprefetchingmethodcanenhancethedistributedfiles

7、ystemI／Operfc)rmanceeffectively．KeywordsDistributedfilesystem，Fileprefetching，Heuristic，HDFS性，如图片、音频搜索的后台服务。目前针对分布式文件系统1引言性能优化的研究包括：Yue等l1]提出二级元数据管理方法来面向云计算的分布式文件系统诸如GFS、HDFS、GPFS、提高分布式文件系统的可用性；MackeyG．等l_2]对HDFS小DAFS、PVFS等，兼具存储容量大、高聚合I／O性能、容错性文件的元数据管理方式进行优化，以提高H

8、DFS对小文件的好等特点，在海量数据存储的应用领域获得广泛应用。目前，存取效率；Yu等l_3]发现文件分布模型对聚合i／o带宽有着显集群节点硬件性能发展迅速，CPU计算能力与I／O速度的不著的影响，提出一种基于用户视角的数据分布策略，并在其另匹配问题愈加严重，i／o性能难以满足文件处理的需求，严重一篇论文l4中提出写