大数据hadoop平台下数据存储的研究与实现 毕业论文设计

《大数据hadoop平台下数据存储的研究与实现 毕业论文设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西安邮电大学毕业设计（论文）题目：大数据Hadoop平台下数据存储的研究与实现学院：通信与信息工程学院专业：通信工程班级：通工1108班学生姓名：导师姓名：职称：高工起止时间：2015年3月2日至2015年6月19日毕业设计（论文）诚信声明书本人声明：本人所提交的毕业论文《大数据Hadoop平台下数据存储的研究与实现》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。本人完全意识到本声明的法律后果由本人承担。论文作者：（签字）时间：2015年6月5日指导

2、教师已阅：（签字）时间：2015年6月5日西安邮电大学毕业设计(论文)开题报告通信与信息工程学院通信工程专业11级08班课题名称：大数据Hadoop平台下数据存储的研究与实现学生姓名：学号：指导教师：报告日期：2015年3月26日西安邮电大学本科毕业设计（论文）开题报告学号姓名导师题目大数据Hadoop平台下数据存储的研究与实现选题目的（为什么选该课题）这是一个信息爆炸的时代，互联网上的信息正在以几何级数的速度增长着。在这个大背景下，消耗CPU最多的计算逐渐从“提升软件本身性能”方面转移到了信息处理方面，从而各大厂商不得不面临着极大地挑战——他们需要从TB乃至PB级的数据中

3、挖掘出有用的信息，并对这些海量数据进行快捷、高效的处理。而数据存储是数据管理工作的基石，所以如何进行大数据的有效存储成为一个重要的研究课题，为此选择了这个课题，以便更多地了解大数据和云计算方面的知识并且锻炼对linux系统的操作能力和搭建工作环境的能力，更为了以后工作和发展方向做下基础。前期基础（已学课程、掌握的工具，资料积累、软硬件条件等）1、在校期间学习过《计算机网络》和《数据库》等相关学科，为做本题打下基础，具备了一定的计算机网络和数据库等的基础知识；2、通过网络和相关书籍查阅资料，了解了云计算和大数据的相关概念；3、已经安装了linux操作系统，对处理大数据的Had

4、oop也进行了进一步的了解；4、对于大数据的分布式存储的工作原理进行了初步的了解和掌握。要解决的问题（做什么）1、了解云计算和大数据的相关知识，理解大数据存储方面的原理；2、安装linux系统，能在linux上进行熟练的操作；3、在linux上安装Hadoop，进行Hadoop分布式平台的搭建，掌握HDFS分布式存储的工作原理并对其提出改进，对一组样本数据进行存储；4、了解分布式编程模型MapReduce的原理并能进行简单的使用；5、撰写毕业论文，能熟练掌握Hadoop下大数据存储的相关知识并进行答辩等环节。工作思路和方案（怎么做）1、通过查阅大量资料理解并熟悉云计算和大数

5、据的相关知识，尤其是大数据存储的分布式原理和使用；2、在Windows系统上利用VMware安装虚拟机，装载linux系统，配置好vmtools等所需的常用软件及其设置，进一步熟悉linux操作环境；3、在Windows和linux之间的共享文件夹中下载linux版本的Java和Hadoop的安装包，在linux中安装、调配运行环境等至可以正常使用；4、根据资料学习和了解相关概念和使用方法并进行Hadoop分布式平台的搭建，包括运行环境和开发环境的搭建直到能熟练使用；5、在搭建环境的过程中体会和掌握HDFS分布式存储的工作原理，并分析其优缺点，查阅资料，提出一些改进的方案或

6、想法；6、理解开源的非关系型分布式数据库HBase的工作原理和使用方法；7、下载或者编辑一组样本数据，以样本数据为例，在hadoop平台下进行大数据的存储实例；8、解决完存储问题后，对大数据分析方面的分布式编程模型MapReduce的原理、使用方法和使用环境做一了解。9.通过对毕业设计中所涉及的知识的学习与理解，针对设计中遇见的问题及时与老师进行讨论，找到解决问题的方法，从而撰写毕业论文，最后结合所掌握的知识不断完善论文。指导教师意见签字：2015年3月30日目录目录I摘要IABSTRACTII引言11　绪论21.1　大数据简介21.2　Hadoop简介31.2.1　Had

7、oop的优点31.2.2　Hadoop的架构41.2.3　Hadoop的组成52　虚拟机下CENTOS7.0的装载和配置73　HADOOP平台的搭建和基本配置113.1　安装JDK113.2　SSH免密码登陆123.2　安装配置Hadoop134　HADOOP平台下数据存储的分析和研究164.1　用命令进行文件存储和读取164.1.1　创建目录164.1.2　显示目录以及网页图形化界面164.1.3　本地文件存入目录以及网页图形化界面174.1.4　显示HDFS下文件内容以及网页图形化界面184.1.5　显示HDF