云计算技术综述

《云计算技术综述》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、云计算技术综述胡经国本文作者的话本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。现作为云计算学习笔录，奉献给云计算业外读者，作为进一步学习和研究的参考。希望能够得到大家的指教和喜欢！下面是正文一、云计算关键技术1、虚拟化技术在云计算中，虚拟化（Virtualization）是一种资源管理技术。虚拟化技术，是指计算元件在虚拟的基础上而不是在真实的基础上运行。它可以扩大硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统。通过虚拟化技术，可实现软件应用与底层硬件相隔离。它包括将单个资源划分为多个虚拟资源的裂分模式；也包括将多个资源整合为一个虚拟

2、资源的聚合模式。例如，可以将一台物理服务器虚拟成为多台逻辑机器；也可以将多台物理服务器虚拟成为一台逻辑机器。虚拟化技术根据对象可分为：计算虚拟化、存储虚拟化、网络虚拟化等。计算虚拟化又分为：系统级虚拟化、应用级虚拟化和桌面虚拟化。在云计算实现中，计算系统虚拟化，是一切建立在“云”上的服务与应用的基础。虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。2、分布式海量数据存储云计算系统由大量服务器组成，同时为大量用户服务。因此，云计算系统采用分布式存储的方式存储数据；用冗余存储的方式（集群计算、数据冗余和分布式存储）保证数据的可靠性。冗余存储

3、的方式，通过任务分解和集群，用低配置机器替代超级计算机的性能，来保证低成本。这种方式保证分布式数据的高可用、高可靠和经济性，即为同一份数据存储多个副本。云计算系统中广泛使用的数据存储系统，是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。链接：GFSGFS（GoogleFileSystem，Google文件系统），是Google公司为了存储海量搜索数据而设计的专用文件系统。GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。链接：HDFSHD

4、FS（HadoopDistributedFileSystem，Hadoop分布式文件系统）被设计成适合运行在通用硬件（commodityhardware）上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但是同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS具有高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且，它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些具有

5、超大数据集（largedataset）的应用程序。3、海量数据管理技术云计算需要对分布的、海量的数据进行处理、分析。因此，数据管理技术，必需能够高效地管理大量的数据。云计算系统中的数据管理技术，主要是Google的BTsT～lO数据管理技术和Hadoop团队开发的开源数据管理模块HBase。由于云数据存储管理形式，不同于传统的RDBMS数据管理方式，如何在规模巨大的分布式数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。同时，由于管理形式的不同，造成传统的SQL数据库接口，无法直接移植到云管理系统中来。目前，一些研究在关注为云数据管理提供RDBMS和SQL的接口，如

6、基于Hadoap子项目HBase和Hive等。另外，在云数据管理方面，如何保证数据安全性和数据访问高效性，也是研究关注的重点问题之一。链接：HBaseHBase（HadoopDatabase，Hadoop数据库），是一个分布式的、面向列的开源数据库。HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是，HBase基于列的而不是基于行的模式。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。链接：RDBMSRDBMS（RelationalDatabaseM

7、anagementSystem，关系型数据库管理系统），是将数据组织为相关的行和列的系统；而管理关系型数据库的软件就是关系型数据库管理系统。常用的管理关系型数据库的软件有Oracle、SQLServer等。链接：SQLSQL（Structured Query Language，结构化查询语言），是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系型数据库系统；同时也是数据库脚本文件的扩展名。链接：HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射