基于hadoop的在线存储系统的设计与实现

《基于hadoop的在线存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop的在线存储系统的设计与实现作者姓名侯宇鑫学校导师姓名、职称鲍亮副教授领域软件工程企业导师姓名、职称梁爽高工申请学位类别工程硕士提交学位论文日期2014年10月学校代码10701学号1210122635分类号TP31密级公开西安电子科技大学硕士学位论文基于Hadoop的在线存储系统的设计与实现作者姓名：侯宇鑫领域：软件工程学位类别：工程硕士学校导师姓名、职称：鲍亮副教授企业导师姓名、职称：梁爽高工提交日期：2014年12月ADesignandImplementationofOnlineStorageSystemBasedonH

2、adoopAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinSoftwareEngineeringByHouyuxinSupervisor:BaoliangLiangshuangDecember2014西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外

3、，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文若有不实之处，本人承担一切法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于西安电子科技大学。学校有权保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存

4、论文。同时本人保证，获得学位后结合学位论文研究成果撰写的文章，署名单位为西安电子科技大学。保密的学位论文在年解密后适用本授权书。本人签名：导师签名：日期：日期：摘要摘要大数据时代，个人所拥有的数据量正在呈现爆炸式增长，个人所需要处理的数据种类也趋于庞杂。面对人们日益增长的需求，基于物理存储介质的个人本地存储存在着便携性差，存储容量较低且不易扩展，存储成本高等问题。针对本地存储的各种弊端，各大互联网公司纷纷推出了在线存储应用。依靠互联网技术以及云计算技术的高速发展，在线存储应用越来越被广大用户所接受，人们的存储习惯正在潜移默化中改变。与此同时

5、，在线存储技术也处于发展之中，面临着传输速度慢，运营成本高等诸多问题。针对以往的在线存储技术所面临的问题，本文提出了一种面向高速局域网以及应用云计算储存技术的在线存储方式，并完成了整个系统的开发流程。首先，对在线存储系统进行了需求分析。文中调查了需要解决的问题，并分析了系统的功能性以及非功能性需求。同时，本文明确了系统中包含普通用户以及管理员两类参与者，并详细考察了参与者的用例。在完成系统数据建模、明确系统数据流向以及分析功能的基础上，将本系统分解为系统管理，文件操作，用户管理三大模块。其次，完成了在线存储系统设计与实现。该系统是对开源分布

6、式系统hadoop的定制与改造，系统在底层采用了HDFS以及Hbase技术，分别保证了用户文件和系统数据的可靠存储。同时采用了B/S架构，方便用户使用，并能够屏蔽客户端异构性问题，具有跨平台使用能力。并且根据数据建模完成了数据库设计，在需求分析的基础上完成了系统详细设计，在web开发三层架构的理论指导下完成了系统的分层架构设计以及包组织结构的规划。在以上基础上，详细设计了各个组件的概要类图，以及通过序列图明确了各个功能的业务逻辑，最终完成了系统管理，文件操作，用户管理三大组件的设计。此外，本文使用J2EE技术和HDFS以及HBase提供的接

7、口设计实现了系统中各个组件，并完成系统集成。在完成功能的基础上，针对HDFS可能出现的单点故障问题，探究了在线存储系统的高可用性方案。为了能够快速部署，提高系统可维护性，提出了一种hadoop快速部署的方法。最后，对整个系统的功能进行测试。为了确定整个系统能够按照需求分析以及功能设计所述完成业务逻辑，本文根据系统各个组件以及组件功能列表，逐条设计了各个功能的测试用例。通过测试确保了系统能够正常，稳定地为用户提供服务。与此同时发现系统中存在的问题及不足，并及时地进行修复。实验表明，本系统与传统系统相比具有高可靠性、可扩展性、高效性以及高度容错

8、性等优点。而且本系统适合分布式地部署在廉价机器上，降低了运营成本，并且从整体上提高了数据带宽，达到了预定设计目标。I西安电子科技大学硕士学位论文关键词：web，在线存储，hado