云计算系列教程9.ppt

《云计算系列教程9.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、HBASE内容提要为什么需要HBaseHTable的逻辑组织HBase的运行机制HBase与HDFSHBase的对外接口引入HBASE的原因数据库系统已无法适应大型分布式数据存储的需要改良的关系数据库（副本、分区等）难于安装与维护关系模型对数据的操作使数据的存贮变得复杂引入HBASE的原因HBASE从设计理念上就为可扩展做好了充分准备空间的扩展只需要加入存储结点使用‘表’的概念，但不同于关系数据库，不支持SQL实质上是一张极大的、非常稀疏的，存储在分布式文件系统上的表HBase历史2006年底由PowerSet的ChadWa

2、lters和JimKellerman发起2008年成为ApacheHadoop的一个子项目现已作为产品被使用WorldLingoStreamy.comOpenPlacesYahooAdobeHBASE用例－WebTable存储抓取网页和相关信息每个页面对应一行，是个有百万行的大表要基于此表进行分析与解析并由搜索引擎对关键字进行索引表需要并发地被众多网页抓取程序随机地访问以及更新数据表内容也要作为网页实时缓存被大量用户随机访问逻辑视图RowKeyTimeStampColumnContentsColumnAnchorColumn

3、“mime”cnnsi.commy.look.ca“com.cnn.www”T9CNNT8CNN.COMT6“..“Text/htmlT5“..“t3“..“数据模型－行RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”cnnsi.commy.look.ca“com.cnn.www”T9CNNT8CNN.COMT6“..“Text/htmlT5“..“t3“..“行键列列数据模型－行每行数据有一可排

4、序的关键字和任意列项字符串、整数、二进制串甚至与串行化的结构都可以作为行键表按照行键的“逐字节排序”顺序对行进行有序化处理表内数据非常‘稀疏’，不同的行的列的数完全目可以大不相同数据模型－行可以只对一行上“锁”对行的写操作是始终是“原子”的数据模型－列列必须用‘族’(family)来定义任意一列有如下形式“族：标签”其中，族和标签都可为任意形式的串物理上将同“族”数据存储在一起数据可通过时间戳区分版本数据模型－列RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”cnns

5、i.commy.look.ca“com.cnn.www”T9CNNT8CNN.COMT6“..“Text/htmlT5“..“t3“..“族标签物理视图RowKeyTimeStampColumn:ContentsCom.cnn.wwwT6“..”T5“..”T3“..”RowKeyTimeStampColumn:AnchorCom.cnn.wwwT9Anchor:cnnsi.comCNNT5Anchor:my.look.caCNN.COMRowKeyTi

6、meStampColumn:mimeCom.cnn.wwwT6text/htmlHTable小结RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”cnnsi.commy.look.ca“com.cnn.www”T9CNNT8CNN.COMT6“..“Text/htmlT5“..“t3“..“系统总体结构HDFSClusterZooKeeperClusterRegionServerRegionServerRegionServerMast

7、erServerHStoreMapFilesHStoreMapFilesRegion数据存储实体－区域表按照“水平”的方式划分成一个或多个“区域”(region)每个区域都包含一个随机id，区域内的行也是按行键有序的最初每张表包含一个区域，当表增大超过阈值后，这个区域被自动分割成两个相同大小的区域区域以分布式的方式分布在集群内区域的管理区域服务器(RegionServer)为区域的访问提供服务，直接为用户提供服务负责维护区域的分割负责数据存持久化主服务器(MasterServer)管理区域服务器指派区域服务器对服务特定区域恢

8、复失效的区域服务器特殊目录数据元数据(META)全部用户区域的属性数据都存在元数据表中包括区域中数据起止行信息、区域“在线”状态等保存区域服务器地址元数据表也可包含多个区域，区域属性数据存储在“根”结点上特殊目录数据“根”表(ROOT)只存包含一个区域将元数据中的区域映射到区域服务器存储元