基于分布式系统的粗粒度锁服务Chubby

《基于分布式系统的粗粒度锁服务Chubby》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于分布式系统的粗粒度锁服务Chubby摘要1介绍Chubby系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。软件开发者不需要使用复杂的同步协议，而是直接在程序中调用chubby的锁服务，来保证数据操作的一致性。这种锁是建议性的，而不是强制性的锁，具有更大的灵活性。客户端缓存数据，减少对主服务器的访问量。主服务器通过通报机制，定期向客户端发送更新消息。Chubby系统具有广泛的应用场景，在分布式环境的开发中扮演重要作用。Chubby系统让客户端进行同步并且协调配置环境，方便程序员进行分布式系统中一致性服务的开发。例如，google的GF

2、S系统直接使用chubby选取主服务器；google的bigtable中使用chubby完成主服务选取、用户发现、表格锁服务等；软件开发者使用chubby粗粒度的分配任务；在编写并发程序时，使用chubby提供的共享锁或者独占锁，保证数据的一致性。Chubby系统本质上是一个分布式的文件系统，存储大量的小文件。每一个文件就代表了一个锁，并且保存一些应用层面的小规模数据。用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息。例如，当一群机器选举mater时，这些机器同时申请打开某个文件，并请求锁住这个文件。成功获取锁的

3、服务器当选主服务器，并且在文件中写入自己的地址。其他服务器通过读取文件中的数据，获得主服务器的地址信息。2背景配置环境假设•Operateatarbitraryspeed•Independent,randomfailures•Procswithstablestoragemayrejoinprotocolafterfailure•Donotlie,collude,orattempttomaliciouslysubverttheprotocol•Allprocessorscancommunicatewith(“see”)oneanother•Message

4、saresentasynchronouslyandmaytakearbitrarilylongtodeliver•Orderofmessagesisnotguaranteed:theymaybelost,reordered,orduplicated•Messages,ifdelivered,arenotcorruptedintheprocess3Chubby系统设计3.1系统概述Chubby系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。Chubby系统提供建议性的锁，而不是强制性的锁；强调锁服务的可用性、可靠性。Chubby系统本质上

5、是一个分布式的文件系统，存储大量的小文件。每一个文件就代表了一个锁，并且保存一些应用层面的小规模数据。用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息。例如，当一群机器选举mater时，这些机器同时申请打开某个文件，并请求锁住这个文件。成功获取锁的主服务器当选主服务器，并且在文件中写入自己的地址。其他主服务器通过读取文件中的数据，获得主服务器的地址信息。3.2系统目标Chubby系统的设计目标主要有四点：ü支持粗粒度的锁服务：基于松耦合分布式系统的可靠存储，向用户提供粗粒度锁服务。ü高可用性和高可靠性：保证锁服务

6、的高可用性和高可靠性，同时提供基本的可用性、吞吐量和存储能力。ü直接存储服务信息：提供档案文件，存储服务的参数及相关信息，而不需要建立并维护另一个服务。ü高扩展性：在RAM中存储数据，支持大规模用户访问文件。在具体实现时，chubby主要有以下几个特征：ü通报机制：客户端需要及时知道服务发生的变化。通过通报机制，定期向客户端发送更新消息。ü缓存机制：利用缓存保存文件，避免频繁访问主服务器；为了方便用户，使用一致性缓存。3.3整体架构如图所示，Chubby系统通过远程过程调用，连接客户端和服务器这两个主要组件。客户端应用程序通过调用chubby代码库，申

7、请锁服务并获取相关信息，同时通过租约保持同服务器的连接。Chubby服务器组一般由五台服务器组成。其中一台服务器担任主服务器，负责与客户端的所有通信。其他服务器不断和主服务器通信获得用户操作。Chubby服务器组的所有机器都会执行用户操作，并将相应的数据存放到文件系统，以防止主服务器出现故障导致数据丢失。4Chubby系统实现在具体实现时，Chubby系统分为文件系统、客户端与主服务器通信、服务器间的一致性操作等模块。4.1文件系统Chubby文件系统类似于简单的unix文件系统，方便程序员理解。Chubby文件系统不支持内部文件移动操作以及硬连接。在

8、具体实现时，文件系统由许多Node（节点）组成，每个Node代表一个文件（FileNode）或