基于hadoop的分布式数据存储设计与实现

《基于hadoop的分布式数据存储设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP311.52单位代码：10183研究生学号：201251E008密级：公开研吉林大学硕士学位论文（专业学位）基于Hadoop的分布式数据存储设计与实现DesignandimplementationofdistributeddatastoragebasedonHadoop作者姓名：毛剑类别：工程硕士领域（方向）：电子与通信工程指导教师：董玮教授培养单位：吉林大学电子科学与工程学院2016年09月—————————————————————————基于Hadoop的分布式数据存储设计与实现—————————————————————————Designa

2、ndimplementationofdistributeddatastoragebasedonHadoop——————————————————————————————作者姓名：毛剑领域（方向）：电子与通信工程指导教师：董玮教授类别：工程硕士答辩日期：2016年12月3日II未经本论文作者的书面授权，依法收存和保管本论文书面版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学博±（或硕±）学位论文原

3、创性声明本人郑重声明，是本人在指导教师的指导：所呈交学位论文下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作。品成果对本文的研究做出重要贡献的个人和集体，均已在文中Ｗ明确方式标明。本人完全意识到本声明的法律结果巧本灭承？吊学位论文作者签名：日期；灰＾（（年作月３日ＩＩＩ摘要摘要在互联网蓬勃发展的今天，随处可以听到有关云计算的种种应用，过多的耳濡目染似乎也就标志着云时代的真正到来。因此，云端产品自然成为云时代下最为热门的产物。另外，由于传统的Web应用是将数据保

4、存到服务器下数据库系统中，随着用户的数据量增多，传统的web项目面临着巨大的挑战。不仅如此，服务器维护成本也非常高。将数据直接保存到云服务器上面，云存储不仅可以保障数据的安全，为数据存储提供足够的空间，而且会大大降低维护成本。本文的主要工作是设计并实现云端存储。在Hadoop云环境中，利用Web服务器程序在web下操作Hadoop分布式文件系统API实现云存储应用。系统采用Struts2,Hibernate3和Spring3三大框架开发J2EE的MVC三层架构应用，采用Log4j配置和规范控制台输出的系统日志信息，XFire开发WebService，提供相应

5、的服务，JAVA对Apache下的mail开发并实现邮件的发送，页面处理上主要采用JQuery实现页面无刷新操作，考虑到该应用中用户信息数据量小，因此采用MySQL进行用户数据信息的管理，避免HDFS对文件的循环遍历。从系统功能上讲，基本实现一个云端数据文件存储系统，用户可以随时随地通过浏览器访问并管理自己的数据文件，进行上传，下载，删除，分享等操作；同时可以管理自己的用户基本信息。区别与普通的web系统，该系统是分布式系统架构，访问速度、响应速度明显快于普通web应用，不仅如此，由于Hadoop的HDFS会自动将数据文件进行备份，存储到不同的集群环境下的从

6、服务器上，所以不用担心一台服务器坏了，该机器上的文件就出现无法访问的情况，因为其它的机器会担当起这样的角色对文件进行管理。关键词：分布式，Hadoop，海量数据存储，云计算VAbstractAbstractToday,withrapiddevelopmentoftheInternet,allsortsofapplicationofcloudcomputingcanbeheardeverywhere.Somanycloudappsseemthecomingofageofrealcloud.Therefore,theproductsbasedonthecloud

7、computingbecomethemostpopularproductofthecloudera.Inaddition,sincetheconventionalWebapplicationssavedatatothedatabasesystem,traditionalwebprojectisfacedwithenormouschallengeswiththeincreaseintheamountofuserdata.Moreover,maintenancecostsofserverareveryhigh.Databeingsaveddirectlytoth

8、ecloudserverwillnotonlygua