Google云计算原理-分布式锁服务Chubby

《Google云计算原理-分布式锁服务Chubby》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Google云计算原理CloudComputing电子工业出版社刘鹏主编《云计算》教材配套课件4主要内容（6学时）概念回顾Google云计算背景分布式文件系统GFS并行数据处理模型MapReduce分布式锁服务Chubby分布式数据库BigTableGoogleAppEngineGoogle云计算技术小结Google的云计算课程回顾3分布式文件系统GFSGFS的容错措施有哪些？GFS的容错方法GFS的容错机制ChunkServer容错每个Chunk有多个存储副本（通常是3个），分别存储于不通的服务器上每个Chunk又划分为若干Block（64KB），每

2、个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）Master容错（影子节点热备）三类元数据：命名空间（目录结构）、Chunk与文件名的映射以及Chunk副本的位置信息前两类通过日志提供容错，Chunk副本信息存储于ChunkServer，Master出现故障时可恢复5并行数据处理模型MapReduce1、处理流程2、分片方式MapReduce处理流程中各类文件的存储位置在哪里？MapReduce的容错方法？MapReduce的处理优化方法？MapReduce仅能对GFS之上的文件进行处理吗？问题讨

3、论所有步骤均可控，可灵活处理各类分布式问题灵活的MapReduce除了排序，新增两道题目使用MapReduce实现倒排索引输入：100个文本文档输出：倒排索引任务实现算法，给出数据结构描述、执行过程描述等作业要求同“排序”要求尽可能提高执行效率，节约网络IO带宽云计算应用实践作业调整除了排序，新增两道题目使用MapReduce实现快速查询查询目标是存储在BigTable之中的网页数据，给定关键字，快速查询含有该内容的网页（假定没有倒排索引）要求设计BigTable存储方式（表含有哪些列、无需关心数据如何取得）设计快速查询的MapReduce处理方法作业

4、要求同“排序”云计算应用实践作业调整Google的云计算分布式锁服务Chubby11主要用于解决分布式一致性问题在一个分布式系统中，有一组的Process，它们需要确定一个Value。于是每个Process都提出了一个Value，一致性就是指只有其中的一个Value能够被选中作为最后确定的值，并且当这个值被选出来以后，所有的Process都需要被通知到粗粒度的分布式锁服务Chubby是Google为解决分布式一致性问题而设计的提供粗粒度锁服务的文件系统其他分布式系统可以使用它对共享资源的访问进行同步Chubby是什么？12需要实现的特性高可用性高可靠性

5、支持粗粒度的建议性锁服务支持小规模文件直接存储不作考虑的特性高性能存储能力Chubby的设计目标13Chubby的系统架构14文件系统中文件的权限文件系统中文件操作的权限有哪些？这些权限之间的互斥关系是怎样的？Chubby系统本质上就是一个分布式的、存储大量小文件的文件系统Chubby中的锁就是文件在GFS的例子中，创建文件就是进行“加锁”操作，创建文件成功的那个server其实就是抢占到了“锁”用户通过打开、关闭和存取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息Chubby文件系统16Client与Chubby的通信协议17主节点

6、选举独占锁共享锁数据存取应用获取GFSChunkServer信息元数据存储……Chubby的应用18Goolge的云计算分布式数据表BigTable19BigTable为什么需要设计BigTable？Google需要存储的数据种类繁多网页，地图数据，邮件……如何使用统一的方式存储各类数据？海量的服务请求如何快速地从海量信息中寻找需要的数据？BigTable：基于GFS和Chubby的分布式存储系统对数据进行结构化存储和管理与GFS的联系20数据存储可靠性高速数据检索与读取存储海量的记录（若干TB）可以保存记录的多个版本Google的需求21与写操作相比

7、，数据记录读操作占绝大多数工作负载单个节点故障损坏是常见的磁盘是廉价的可以不提供标准接口Google既能控制数据库设计，又能进行应用系统设计假设22具有广泛的适应性支持Google系列产品的存储需求具有很强的可扩展性根据需要随时加入或撤销服务器应对不断增多的访问请求高可用性单个节点易损，但要确保几乎所有的情况下系统都可用简单性简单的底层系统可减少系统出错概率，为上层开发带来便利设计目标23总体上，与关系数据库中的表类似逻辑视图RowKeyTimeStampColumnContentsColumnAnchorColumn“mime”cnnsi.commy

8、.look.ca“com.cnn.www”T9CNNT8CNN.COMT6“..“