基于hadoop混合存储解决方案的研究

《基于hadoop混合存储解决方案的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号ＴＰ３９２单位代码：１０１的：２０１３５４４１０７密巧：公开研究生学号：古林大学硕古学位馀文专Ａ学位（）基于Ｈａｄｏｏｐ混合存储解决方案的研究ＲｅｓｅａｒｃｈｏｎｔｈｅＳｏｌ加ｏｎｏｆＨｂｒｉｄＳｔｏｒａｇｅｙＢａｓｅｄｏｎＨａｄｏｏｐ作者姓名：余大州类别：工程硕±领域（方向）：软件工程指导教腑巧辉巧教巧培养单化软件学院２０１６年４月基于Ｈａｄｏｏｐ漏合存储解决方案的研究Ｒｅｓｅａｒｃｈｏｎ化ｅＳｏｌｕｔｉｏｎｏｆＨｂｒｉｄ

2、ＳｔｏｒａｅｙｇＢａｓｅｄｏｎＨａｄｏｏｐ作者姓名：余大州领域（方向）：软件工程指导教师：康辉副教授类别：工程硕±答辩日期：２０１６年５月２８日未经本论文作者的书面授权，化法收存和保管本论文书面版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学硕：ｔ学位论文原创性声明本人郑重声明：所呈交学位论文，是本人在指导教师的指导下

3、，独立进行研究工作所取得的成果。除文中己经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研。究做出重要贡献的个人和集体，均已在文中明确方式标明本人完全意识到本声明的法律结果由本人承担。学位论文作者签名少，曰期：＾八年＾月曰ｙ摘要基于化ｄｏｏ泡合存储解决方案的研巧ｐ，平台内容的逐渐丰富随着互联网应用的逐渐普及，越来越多的行业选择与互联网，结合，因此产生了大量的数据。审视现有技术，不难发现所有的技术都是Ｗ技术为核屯、。作为用户，我们对多样型媒体的

4、欲望与曰俱増，比如观看的电影和创建并上传到网络的照片和视频等。不仅是数据总量和种类在不断增加，同时数据生成速率也在不断增力口。如何很好地获取，管理送些数据，并选择行之有效的方法分析数据，提取价值是如今最重要的课题。随着数据的爆炸式增长，结构化数据、半结构化数据和非结构化数据的混合存储平台是进行数据分析的基础，经典的数据处理系统扩展方法如向上扩展配置昂贵的大型机，或者向外扩展升级系统硬件可获得更强大的处理能力，但是其成本非常离昂。另外，由于海量数据数据的深度分析技术处于初步阶段，主流的Ｈａｄｏｏｐ

5、和ＭａｐＲｅｄｕｃｅ在实时一一般，Ｈａｄｏｏ，分析方面性能。因此对不同数据源和ｐ的整合应用设计种可Ｗ高效连接Ｈａｄｏｏｐ和不同数据产品的混合存储的优化方案是具有价值的。本文从流行的大数据处理框架Ｈａｄｏｏｐ入手，分析现有分布式存储和计算技术原理，一Ｈ结合不同类型数据库的特点和Ｈａｄｏｏｐ的集群技术，提出了种基于ａｄｏｏｐ的混合存储解决方案：。主要的工作包括一１．实现ＨＤＦＳ的数据交互平台，利用这分布式文件存储平台，不同种类数据可Ｈ一在ａｄｏｏｐ和传统的数据库系统中实现共享交互，从而有利于进行更深

6、步的数据分析工作。２一．针对Ｈａｄｏｏｐ的单控制节点和跨机房、跨集群背景下的管理问题，设计了种多，，减少单控制节点负载压力控制节点管理结构从而增强系统可靠性。３．对于非结构化数据存储，利用基于Ｈａｄｏｏｐ的数据存储产品邸ａｓｅ作为存储数一据库，但是为了应对海量数据进行数据导入时候的效率问题，设计了种文件传输方式，通过转化文件格式适应ＨＢａｓｅ的存储文件特点，从而加快存储速率。４．对于结构化数据存储分析，利用了基于Ｈａｄｏｏｐ的适用于结构化数据存储的ＨｉｖｅＩ，作为离线数据仓库提供离线的深

7、度数据分析，。而对于实时查询需求则设计通过传统关系数据库中完成。本文实现了数据通过Ｈａｄｏｏｐ经由关系数据库导入Ｈｉｖｅ的流程。５．搭建指向ＨＤＦＳ系统的ＦＴＰ服务器。实现了与Ｈａｄｏｏｐ分布式文件系统的交互，同时也便于多客户端的用户访问和管理数据。关健词：大数据，Ｈａｄｏｏ，，ｐ结构化数据非结构化数据，存储ＩＩＡｂｓｔｒａｃｔＲｅｓｅａｒｃｈｏｎ化ｅＳｏ山杜ｏｎｏｆＨｙｂｒｉｄＳ４；ｏｒａｇｅＢａｓｅｄｏｎＨａｄｏｏｐＷｉｔｈｔｈｅｇｒａｄｕａｌｉｎｃｒｅａｓｉ

8、ｎｇｐｏｐｕｌａｒｉｔｙｏｆＩ打化ｍｅｔａｐｐｌｉｃａｔｉｏｎｓａ打ｄｉｎｔｅｒｎｅｔｃｏｎｔｅｎｔｓ，ｍｏｒｅａｎｄｍｏｒｅｉｎｄｕｓｔｒｉｅｓｓｅｌｅｃｔｃｏｍｂｉｎｅｗｉｔｈｔｈｅＩｎｔｅｒｎｅｔｗｈｉｃｈｒｅｓｕｌｔｉｎａｌａｒｅａｍｏｕｎｔｏｆ