资源描述：
《基于hdfs的多用户并行文件io的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、国防科学技术大学硕士学位论文基于HDFS的多用户并行文件IO的设计与实现姓名：金松昌申请学位级别：硕士专业：计算机科学与技术指导教师：方滨兴；杨树强2010-11国防科学技术大学研究生院学位论文摘要随着计算机网络及其应用的快速发展，特别是Google提出基于Internet的海量数据存储和Map-reduce并行计算思想以来，网络化的数据存储管理和并行分析处理成为学术界和产业界研究的焦点，其中Hadoop作为该思想的参考实现之一，受到了广泛的关注。Hadoop的核心HDFS分布式文件系统采用锁机制控制文件并行IO，不支持多用户对同一文件的读、写并行，限制了多用
2、户并行文件操作的性能，为此，本文针对海量日志类型数据的特点，提出了一种非基于锁机制的并行文件IO模型，并通过实验，验证了本模型的有效性。本文主要工作包括：（1）对Hadoop的相关工作进行了深入的分析，特别在深入分析其分布式文件系统HDFS的基础上，针对HDFS不支持多用户文件并行读写的不足，提出了使其支持多用户并行文件读写的改进思想。（2）通过分析HDFS的并发控制模型，针对海量日志类数据特点，提出了一种不使用互斥机制的分布式文件系统的多用户并行IO模型，基于该模型，在适当降低数据读取完整性的条件下，可以实现对于同一个文件的多用户读写并行、读读并行。（3）通
3、过对原有HDFS实现的改进，设计实现了一个支持多用户并行IO的分布式文件系统。实验表明，本改进有效提高了多用户并行文件IO的性能。主题词：海量数据管理，分布式文件系统，Hadoop，并行文件IO第vi页国防科学技术大学研究生院学位论文ABSTRACTWiththerapiddevelopmentofcomputernetworksanditsapplications,especiallysinceGoogleproposedInternet-basedmassdatastorageandMap-reduceparallelcomputingideas,data
4、storagemanagementbasedonnetworkandparallelanalysisandprocessinghasbecomethefocusofacademiaandindustry.Asoneofthereferenceimplementationoftheidea,Hadoophasbeenwidespreadconcern.InordertocontrolfileparallelIO,thecoreofHadoop—HadoopDistributedFileSystem(HDFS)uselockmechanism,butdoesnot
5、supportmultipleusersreadandwriteinparallelonthesamefile.So,thispaperproposesaparallelfileIOmodelbasedonBlockgranularity,andfinallyexperimentstoverifytheavailabilityofthismodel.Inthispaper,themainworksare:(1)RelatedworkonHadoopwasdeeplyanalyzed,particularlyonHadoopdistributedfilesyst
6、em(HDFS),becauseofthedeficiencyofHadooponmulti-userfileparallelIO,improvementideaswastakenoutinthispaper.(2)ByanalyzingtheimplementationofHadoop,Amulti-userparallelIOmodelwithoutmutualexclusionmechanismwasproposedfordistributedfilesystem,basedonthemodel,undertherightconditionofreduc
7、ingtheintegrityofthedatareading,multi-userreadingandwritinginparallelonthesamefilewasrealized.(3)Bymodifyingthesourcecode,weimplementthefunctiondescribedinthemodeldesigned,andthencarryoutexperimentstoverifythefunctionandperformanceofthemodel.KeyWords:Massivedatamanagement,Distribute
8、dfilesystem,Hadoop,
