谈谈云计算部署方式

《谈谈云计算部署方式》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、我们在以前的文章（对云计算中几种基础设施（Dynamo,Bigtable,Map/Reduce等）的朴素看法）中对云计算的概念和基础组织已作了较为详细的解释和分析，这次我们将继续云计算的话题——进一步谈谈云计算在实际应用环境中的部署方法。我个人理解，云的主要精髓之一（除此以外，资源虚拟化动态分配和安全访问是另外两个核心，我们后面找机会讨论它们）在于数据存储和计算的分布化，因而需要在云部署上充分考虑如何满足分布性，以及如何方便的集中管理云——自动化部署，启动，停止等。下文的主要内容将以我们的实际开发实践为基础展开，重在说明部署方法和管理方法，而不详细谈代码实现——另外，

2、可能的实现方法多会是种多样，但目的殊途同归。 云的分布性：我这里所说的云其实就是我们自己的具体应用程序，之所以叫它云是因为我们的应用——无论是存储或者是计算——都是分布实现的。这是因为我们所需要处理的数据量在单机上无论是存储或者是计算都无法完成，因此必须将数据处理任务分散开来，化整为零交给多台机器共同完成。我们的每个应用部署起来都是分布化的，我这里姑且叫它们为云好了——这里先别去管所谓的云服务，重点关注它的分布性，或者并行性。下面的内容我们重点说说这种分布性的实现方法。 派发服务首先看满足分布化所要求做的工作——云中的和云之间的存储和运算点都是部署需要支持跨机器访问（

3、可能还要跨IDC喽)——我们因此需要一个消息派发服务，即负责管理消息的分布通讯。 在谈派发服务前，我们简要说一下云应用如何被访问。云应用程序和单机应用程序从功能层面看应该是没有区别的，唯一的区别在于访问方式上有一点点差别。访问云应用时需要访问者给出云应用的名称（或者说是namespace)外，还需要给出派发KEY，用来觉得该任务应该下发给云中那个点负责。也许你要说dynamo或者google的bigtable就没有见要指定派发KEY呀，其实不然，他们的派发KEY虽然没有被显示出现，但却被隐含在访问数据中了，比如dyname中的访问键就是派发KEY。有了这个派发KEY的

4、概念，我们就接着谈派发服务了。 派发服务的责任具体的讲该服务需要负责：1.根据派发规则和云的路由信息找到派发目标点——所谓路由信息，其实就是云中各点的位置信息，比如ip地址和port。2.建立和管理链接；3.发送和接受数据——采用异步IO处理模型应该更高效率。除此基本功能以外，最好还能做到一些附加功能：1.动态更新路由——实时感知网络拓扑结构或者计算点和存储点的位置信息变化，以便能在不停服务的情况下，调整派发路线；2.统计各种通讯计数（包数，流量等），以便能分析云运行数据流的状态；3.对流量进行控制，以防止过载；4.上报错误（对于链接等异常，需要上报）派发服务算法基础

5、和派发规则派发服务的主要算法是DHT（分布hash)，数学描述忽略，我们找最简单的例子举例说明这个算法的含义。首先我们所选定的派发KEY的是由一个字符串做MD5后获得的，它会是一个128为数值——做MD5的目的是使得数据均匀分布和避免冲突——。然后我们在逻辑上将128位的数值空间均分成N份，然后让每个机器负责其中1/N的任务，从而让任务分布派发到不同机器上。很简单是吧，虽然有很多变种算法，但万变不离其宗。我们的分布基础多数就是依赖于该算法。分布系统的消息必定有其派发规则。这种规则随应用不同而相应变化，不过我们通常还是可以抽象出一些标准的派发规则。下面谈谈能抽象出来的派

6、发规则。1.RR派发规则：就是随机的给目标云中的一组点上任意一个下发数据。这种规则的应用场景应该是数据之间没有逻辑关系，数据给哪个节点处理都一样——也就是说节点处理过程没有session.RR规则的派发KEY可以随机选取。2.SESSION派发规则：和RR派发不同之处就是节点处理有Session——后面的任务需要在前面的基础上进行，因此数据不能任意下发，而是要保证给定的数据集合发给同一个点。SESSION规则的派发KEY需要发送方给定。3.查表派发规则：有些派发无法用给定的规则做partation——因为需要某些预先给定的数据落到预先给定的点上处理，而不向SESSIO

7、N派发那样仅仅要求给定任务集合落到同一个点就行。那么可能需要具体的查预先定义的映射表，才能决定派发路径。查表派发规则的派发KEY需要发送方给定。4.Dynamo式派发规则：这种派发遵循dynamo系统采用的N,W,R规则进行派发，具体看看dynamo论文吧，对于冗余存储采用这种方式。  除了上述派发规则外，很多应用会有自己特殊的派发规则。不过上述的规则最普遍，多数情况下都够用派发服务的部署 派发服务部署可采用多种方式：如做成一个lib供应用程序（这里说的应用程序就是云的存储或者计算点）自己去调用；或者做成一个单独的服务进程独立于应用程序。这两种方式各