基于hadoop的分布式云计算_云存储方案的研究与设计_成静静new

《基于hadoop的分布式云计算_云存储方案的研究与设计_成静静new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、新技术NewTechnology数据通信2012.5基于Hadoop的分布式云计算/云存储方案的研究与设计成静静（广东省电信规划设计院有限公司广州510630）摘要：通过介绍云计算技术的发展背景以及目前云计算技术的几种技术架构，对分布式云计算/云存储技术进行了详尽的研究，包括分布式云计算/云存储的整体架构、分布式文件系统、分布式数据库、分布式数据仓库、分布式同步软件等，并通过与并行关系型数据库、MPP数据库的对比，分析了基于Hadoop的分布式云计算/云存储架构的竞争优势，基于Hadoop的分布式云计算/云存储将更有效支撑未来电信运营商业务的

2、发展。关键词：云计算；终端桌面云；分布式云计算/云存储；Hadoop；分布式文件系统（HDFS）；分布式数据库（Hbase）；并行计算框架(MapReduce)；分布式同步软件(Zookeeper)1云计算发展背景云计算技术将IT基础资源和服务转变为像水和煤气一样的社会公用基础设施，云计算数据中心成为IT资源和服务的提供者，云计算模型能以按需方式，通过网络方便的访问云系统的可配置计算资源共享池（如网络、服务器、存储、应用程序和服务）。同时，以最少的管理开销及最少的与供应商的交互，迅速配置提供或释放资源。电信运营商引入云计算技术，实现高效率、快

3、速图1云计算架构体系部署、按需使用的IT服务能力，有助于企业缩短IT系IaaS（基础设施即服务）交付给用户的是基本的统建设周期、降低维护成本、创新业务模式。基础设施资源。用户无需购买、维护硬件设备和相关系统软件，就可以直接在基础设施即服务层上构建2分布式云计算的体系架构自己的平台和应用；PaaS（平台即服务）为开发人员2.1云资源池提供了支持离线开发的SDK和集成开发测试环境，虚拟化资源池平台主要以提供用户基于云的各实现客户应用的自动部署和扩展，PaaS的实现通常种服务，共包含3个层次：SaaS将应用主要以基于Web依赖于一体化设备，用户无需

4、为服务器、操作系统、的方式提供给客户；PaaS将一个应用的开发和部署网络和存储等资源运行环境操心；SaaS（软件即服平台作为服务提供；IaaS将各种底层的计算和存储等务）提供应用软件的集合，这些应用构建在基础设施资源作为服务提供给用户。层及平台层提供的环境之上，通过网络交付给用户在管理方面，云管理层确保整个云计算中心能使用。SaaS应用一般为标准化的应用，提供的服务是够安全、稳定地运行，并且能够被有效管理。标准的、一致的，并为数量众多的用户提供相互隔离14收稿日期:2012-08-29新技术2012.5数据通信NewTechnology的操作

5、空间。领域。2.2终端桌面云基于瘦终端的桌面云将原有访问、计算和存储3基于Hadoop的分布式云计算/云存储方案一体的桌面终端演变为终端只完成接入访问，存储研究与设计和计算资源迁移到后台资源池进行部署，所有应用3.1分布式云计算/云存储设计思路也都部署在后台机房。大量普通服务器的集群可以比高性能主机提供更快的性能和更高的可靠性。（1）互联网规模的服务建设只能通过分区实现。单个服务节点的性能已然不够用，即使是解答一个小问题，都需要使用大量的数据，已超出单个节点的能力，更大的问题通常需要具有大量的并行性。数据和计算通常可以被分布到大量的独立的节点

6、上，进行分布式计算。（2）超过99.99%的可用性只能通过冗余方式来图2终端桌面云体系架构图实现：桌面云瘦终端：前台瘦终端设备实现访问接入，墨菲定律：有可能出错，总能出错。假设单个服后台机房部署计算和存储设备；在后台服务器统一务器的故障率是运行3年（1000天）有一次故障；对于部署操作系统、应用软件等个人配置；终端设备占用一万个服务器，每天就有10个服务器出现故障。较小空间，具有较低功耗。“超级可靠”硬件并不能永久保证可靠：在规模出于集中管理、安全和节能的要求，基于瘦终端扩大时，“超级可靠”的硬件依然会出错，虽然出错概的桌面云未来将取代传统的

7、分布式桌面终端，在试率小一点。为了实现可靠性，数据需要被复制到多个点的基础上逐步进行推广。节点，最好还可以异步跨数据中心进行数据复制。2.3分布式云计算/云存储3.2基于Hadoop的分布式云计算/云存储建设方案在Google发表MapReduce后，2004年开源组织A-基于Hadoop的分布式云计算整体架构体系如图pache发布了开源的Hadoop分布式计算框架，模仿和3所示。实现了Google云计算的主要技术。Hadoop基于Java开发，为应用程序提供一组稳定可靠的API接口，实现具有高可靠性和良好扩展性的分布式系统，运行于大量廉价硬

8、件设备组成的集群系统上。分布式云计算：采用标准X86架构服务器大规模集群实现，每个模块都是一个离散的处理单元，使用并行计算技术，集群内各计算节点负荷均衡，当某节图3