云计算毕业设计开题报告

《云计算毕业设计开题报告》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、★精品文档★云计算毕业设计开题报告　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　毕业设计开题报告1．开题报告应根据教师下发的毕业设计任务书，在教师的指导下由学生独立撰写，在毕业设计开始后两周内完成2．指导教师意见：应从选题的实际价值出发，阐述学生利用的知识、建立的模型正确与否？通过学生的努力，能否完成课题，达到预期的目标？课题及报告的综合性、创造性等是否达到毕业生应该具有的要求3．结论：是否同意进入设计阶段毕业设计开题报告科研训练开题报告一.课题名称云计算以及hadoop的简单应用二

2、.课题的背景当前，全球IT产业正在经历着一场声势浩大的“云计算”浪潮云计算秉承“按需服务”的理念，狭义的云计算指IT基础设施的交付和使用模式，广义的云计算指服务的交付和使用模式，即用户通过网络以按需、易扩展的方式获得所需的IT基础设施/服务云计算快速成为了一种广泛接受的计算模式工业界和学术界对云计算的核心概念有了一定的共识，对云计算提供新的服务和消费商业模式有了基本认同另外，云计算产业应用，需要满足服务质量需求、服务层协议和标准支撑，得到了普遍认同云计算是商业模式的创新，主要实现形式包括软件即服务开题报告题目：基于Hadoop的云计算平

3、台搭建1选题的目的和意义设计的背景Hadoop作为Apache基金会资助的开源项目，由Doug2016全新精品资料-全新公文范文-全程指导写作–独家原创5/5★精品文档★Cutting带领的团队进行开发，基于Lucene和Nutch等开源项目，实现了Google的GFS和Hadoop能够稳定运行在20个节点的集群；2006年1月，DougCutting加入雅虎公司，同年2月ApacheHadoop项目正式支持HDFS和MapReduce的独立开发同时，新兴公司Cloudera为Hadoop提供了商业支持，帮助企业实现标准化安装，并志愿贡

4、献社区选题的现状海量数据时代的现状我们生活在数据的时代，很难估计全球的数据有多少，“数字宇宙”项目统计得出，2006年的数据总量为，也就是10亿TB问题1：数据处理速度不够，以100mb每秒计算，读取1tb的数据需要2个半小时一个比较好的方案就是把数据放在100个磁盘中每个磁盘中存放1%的数据并行读取，不到2min就能读取所有数据经过统计用户的分析工作会在不同的时间点进行，所以用户相互间的干扰不会太大但是一旦硬件发生故障，用户的数据就会丢失，所以要准备多份问题2：需要从100个磁盘中取出数据结合使用Mapreduce将这个问题抽象，转化

5、为对一个数据集合的计算这个计算模型分为map和reduce两个阶段，只有这两个部分对外提供接口举例2016全新精品资料-全新公文范文-全程指导写作–独家原创5/5★精品文档★Rackspace的一个部门Mailtrust：mapreduce是一种比较蛮力的办法，每个查询几乎需要处理整个数据集，至少是数据集的很大一部分在合理的时间内对整个数据集合的数据即时查询，是对数据的一种创新rackspace的mailtrust部门，使用hadoop处理邮件日志，他们做用户地理分布查询“这些数据非常有用，每个月运行一次决定哪些rackspace数据中

6、心需要添加新的邮件服务器“通过整合数百GB的数据，并分析，可以通过这些数据改善现有服务Hadoop的发展史Hadoop起源于Nutch网络搜索引擎，Nutch是Lucene的一部分，创始人为DougCuttingNutch项目开始于2002年2004年开始开发GFS的开源版本NDFS，谷歌发表论文向全世界介绍它的mapreduce系统2005年实现了mapreduce的开源版本2006年将hadoop移出Nutch独立成为一个项目，hadoop创始人进入雅虎2008年Hadoop成为apache顶级项目，证明了其成功209S完成1tb数

7、据排序2009年4月59秒排序500GB1400节点173分钟排序100T的数据3400节点典型案例纽约时报facebookHadoop生态系统Common：IO组件于接口Pig：数据流语言和运行环境，检索非常大的数据集Hive:管理HDFS中的数据，提供sql查询Hbase:安列存储数据库，支持批量式计算和点查询ZooKeeper:一个分布式、可用性高的协调系统ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用Sqoop:2016全新精品资料-全新公文范文-全程指导写作–独家原创5/5★精品文档★在数据库和HDFS之间高效

8、传输的数据工具Kerberos:实现的是机器级别的安全认证，也就是前面提到的服务到服务的认证问题防止了用户伪装成Datanode，Tasktracker，去接受JobTracker，Namenode的任务指