基于hadoop存储文件管理系统的研究和实现

《基于hadoop存储文件管理系统的研究和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ADissertationSubmittedinPartialFulfillmentoftheRequirementsFortheDegreeofMasterofEngineeringResearchandImplementofDocumentmanagementsystemBasedonHadoopstorageCandidate:MaDengyiMajor:Communication&InformationSystemSupervisor:AssociateProfessorTanYunmengHuazhongUniversityofScienceandTechnologyWuhan

2、,Hubei430074,P.R.ChinaJan,2013独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入

3、有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要互联网技术的日新月异和云存储技术的突飞猛进，带来了数据存储方式的巨大变革，促进了网络硬盘的快速发展。网络硬盘改变着人们进行文件管理的方式，而针对中小企业海量数据的文件管理系统发展却相对滞后，因此，研究适用于中小企业的文件管理系统尤为重要。本文在分析了文件管理系统的功能和性能需求的基础上，给出了系统的总体架构方案、开放型结构封装方案、文件上

4、传方案和用户信息管理优化方案，并对上述方案进行了具体实现。在总体方案中，设计了总体功能结构方案，并根据功能结构划分设计了服务器部署方案；在开放型结构封装中，将底层功能接口资源化，实现资源的远程调用，并将资源调用方法封装成开发包，供其它开发平台使用，增强系统的开放性；在文件上传中，进行文件动态分割，实现文件多线程上传，利用增量算法实现文件断点续传，提高文件上传效率，结合消息队列管理服务，实现文件离线传输到Hadoop分布式存储服务器；在用户信息管理中，建立用户与文件信息的两级索引，将结构化的数据转换为半结构化的树目录数据存储，并实现半结构化数据XML的维护和解析。本文研究和实现的基于Had

5、oop存储的文件管理系统具有开放型封装结构、文件高效上传和用户信息快速获取等优点，在功能和性能测试上，达到了预期目标，能够适用于中小企业海量数据的文件管理。关键词：文件管理,Hadoop存储,分割上传,XML信息存储I华中科技大学硕士学位论文AbstractWiththerapiddevelopmentofInternettechnologyandcloudstoragetechnology,themethodsoffilemanagementhaveundergonesignificantchange,whichhaspromotedtherapiddevelopmentofthene

6、tworkdrives.Networkdriveshavechangedpeople’swayoffilemanagement,whereasthedevelopmentlagofsmallandmedium-sizedenterprises’massdatadocumentmanagementsystemhighlightstheimportanceofsuitabledocumentmanagementsystem.Basedontheanalysisofdocumentmanagementsystemfunctionandperformancerequirements,thisth

7、esishasdesignedtheoverallframeworkofthesystem,anopenpackagestructuresolution,aschemeoffileupload,andusers’informationmanagementoptimizationscheme,arealizationprocessofwhichhaveallconductedthereafter.Intheoverallscheme,