《云计算（第三版）》配套ppt之04：第2章google云计算原理与应用（三）

《《云计算（第三版）》配套ppt之04：第2章google云计算原理与应用（三）》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、目录2.1Google文件系统GFS2.2分布式数据处理MapReduce2.3分布式锁服务Chubby2.4分布式结构化数据表Bigtable2.5分布式存储系统Megastore2.6大规模分布式系统的监控基础架构Dapper2.7海量数据的交互式分析工具Dremel2.8内存大数据分析系统PowerDrill2.9Google应用程序引擎2.5分布式存储系统Megastore2.5.1设计目标及方案选择2.5.2Megastore数据模型2.5.3Megastore中的事务及并发控制2.5.4Megastore基本架构2.5.5核心技术——复

2、制2.5.6产品性能及控制措施针对可用性的要求，实现了一个同步的、容错的、适合远距离传输的复制机制。针对可扩展性的要求，将整个大的数据分割成很多小的数据分区，每个数据分区连同它自身的日志存放在NoSQL数据库中，具体来说就是存放在Bigtable中。设计目标及方案选择2.5分布式存储系统Megastore设计一种介于传统的关系型数据库和NoSQL之间的存储技术，尽可能达到高可用性和高可扩展性的统一。方法一设计目标方法二3数据的分区和复制2.5分布式存储系统Megastore在Megastore中，这些小的数据分区被称为实体组集（EntityGrou

3、ps）。每个实体组集包含若干的实体组（EntityGroup，相当于分区中表的概念）。一个实体组中包含很多的实体（Entity，相当于表中记录的概念）。42.5分布式存储系统Megastore2.5.1设计目标及方案选择2.5.2Megastore数据模型2.5.3Megastore中的事务及并发控制2.5.4Megastore基本架构2.5.5核心技术——复制2.5.6产品性能及控制措施62.5分布式存储系统Megastore传统的关系型数据库不合适的三个原因传统的关系型数据库是通过连接（Join）来满足用户的需求的，但是就Megastore而言

4、，这种数据模型是不合适的，主要有以下三个原因：原因1对于高负载的交互式应用来说，可预期的性能提升要比使用一种代价高昂的查询语言所带来的好处多原因2Megastore所面对的应用是读远多于写，因此好的选择是将读操作所需要做的工作尽可能地转移到写操作上原因3在Bigtable这样的键/值存储系统中存储和查询级联数据（HierarchicalData）是很方便的Megastore数据模型怎么设计？82.5分布式存储系统Megastore细粒度控制的数据模型和模式语言同关系型数据库一样，Megastore的数据模型是在模式（schema）中定义的且是强类型

5、的（stronglytyped）每个模式都由一系列的表（tables）构成，表又包含有一系列的实体（entities），每实体中包含一系列属性（properties）属性是命名的且具有类型，这些类型包括字符型（strings）、数字类型（numbers）或者Google的ProtocolBuffers。Google团队设计的Megastore数据模型92.5分布式存储系统Megastore照片共享服务数据模型实例表Photo就是一个子表，因为它声明了一个外键User则是一个根表一个Megastore实例中可以有若干个不同的根表，表示不同类型的实体组

6、集三种不同属性设置，既有必须的（如user_id），也有可选的（如thumbnail_url）Photo中的可重复类型的tag属性102.5分布式存储系统MegastoreMegastore索引局部索引定义在单个实体组中，作用域仅限于单个实体组（如PhotosByTime）可以横跨多个实体组集进行数据读取操作（如PhotosByTag）全局索引主要两类额外索引STORING子句（STORINGClause）可重复的索引（RepeatedIndexes）内联索引（InlineIndexes）112.5分布式存储系统MegastoreBigtable中

7、存储情况行键（RowKey）User.namePhoto.timePhoto.tagPhoto._url101John101,50012:30:01Dinner,Paris…101,50212:15:22Betty,Paris…102MaryBigtable的列名实际上是表名和属性名结合在一起得到，不同表中实体可存储在同一个Bigtable行中2.5分布式存储系统Megastore2.5.1设计目标及方案选择2.5.2Megastore数据模型2.5.3Megastore中的事务及并发控制2.5.4Megastore基本架构2.5.5核心技术——复

8、制2.5.6产品性能及控制措施13Megastore提供的三种读currentsnapshotinconsistent总是