欢迎来到天天文库
浏览记录
ID:53769115
大小:484.70 KB
页数:6页
时间:2020-04-25
《一种面向分布式文件系统的文件预取模型的设计与实现-论文.pdf》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、第41卷第7期计算机科学Vo1.41NO.72014年7月ComputerScienceJuly2014一种面向分布式文件系统的文件预取模型的设计与实现师明。刘轶唐歌实。(北京航天飞行控制中心北京100094)(北京航空航天大学计算机学院中德联合软件研究所北京100191)(航天飞行动力学技术重点实验室北京100094)。摘要如何为上层应用和计算提供稳定高效的文件I/0性能,是分布式文件系统性能研究的热点。文中分析分布式文件系统在设计机理上的共同特征,基于此提出一种通用型的启发式文件预取模型,并选取HDFS平台进行系统实
2、现。启发式文件预取对上层应用透明,采用在文件系统内部建立预取线程池的方法,以组成文件块的数据存储文件为预取单位,在分布式文件系统内部实现。这种设计思路具有一定的普适性,适合推广应用于多种分布式文件系统。实验结果表明,所述的启发式文件预取,能够有效提升分布式文件系统的I/O性能。关键词分布式文件系统,文件预取,启发式,HDFS中图法分类号TP393文献标识码ADOI10.118965.issrL1002—137X.2014.07.005DesignandImplementationofFilePrefetchingModu
3、leOrientedtoDistributedFileSystemSHIMing’。IdUYiTANGGe-shi·。(BeijingAerospaceControlCenter,Beijing100094,China)(Sino-GermanJointSoftwareInstitute,SchoolofComputerScienceandEngineering,BeihangUniversity,Beijing100191,China)(NationalLaboratoryofScienceandTechnologyo
4、nAerospaceFlightDynamics,Beijing100094,China)。AbstractHowtoprovideastableandefficientfileI/0performancefortheupperapplicationandcomputing,istheperformanceresearchhotspotorientedtodistributedfilesystem.Thispaperanalyzedthemechanisminthedesignofthedistributedfilesy
5、stemonthecommonfeatures,presentedageneral—purposefileprefetchingheuristicmodule,andse-lectedHDFSplatformsystemtoimplement.Theheuristicfileprefetchingmoduleservicestheupperapplicationandac—complishestheimplementationintheinterna1ofdistributedfilesystem,usingthemet
6、hodofestablishingprefetchingthreadpoolwithinthefilesystem,andthedatanotblockasprefetchingunit.Thisideahascertainuniversality,andissuitableforavarietyofdistributedfilesystems.Experimentalresultsshowthattheheuristicfileprefetchingmethodcanenhancethedistributedfiles
7、ystemI/Operfc)rmanceeffectively.KeywordsDistributedfilesystem,Fileprefetching,Heuristic,HDFS性,如图片、音频搜索的后台服务。目前针对分布式文件系统1引言性能优化的研究包括:Yue等l1]提出二级元数据管理方法来面向云计算的分布式文件系统诸如GFS、HDFS、GPFS、提高分布式文件系统的可用性;MackeyG.等l_2]对HDFS小DAFS、PVFS等,兼具存储容量大、高聚合I/O性能、容错性文件的元数据管理方式进行优化,以提高H
8、DFS对小文件的好等特点,在海量数据存储的应用领域获得广泛应用。目前,存取效率;Yu等l_3]发现文件分布模型对聚合i/o带宽有着显集群节点硬件性能发展迅速,CPU计算能力与I/O速度的不著的影响,提出一种基于用户视角的数据分布策略,并在其另匹配问题愈加严重,i/o性能难以满足文件处理的需求,严重一篇论文l4中提出写
此文档下载收益归作者所有