云计算技术——分布式计算.ppt

《云计算技术——分布式计算.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、云计算原理与实践PrinciplesandPracticeofCloudComputingOutline2.1分布式计算概述2.2分布式计算的理论基础2.3分布式系统概述2.4分布式系统的进阶2.5典型的分布式系统DataScienceStatisticsMachineLearningDomainexpertiseMathematicsDataengineering2.1分布式计算概述2.1.1基本概念2.1.2分布式计算的原理2.1.1基本概念（1）集中式计算集中式计算完全依赖于一台大型的中心计算机的处理

2、能力，这台中心计算机称为主机（Host或mainframe），与中心计算机相连的终端设备具有各不相同非常低的计算能力。实际上大多数终端完全不具有处理能力，仅作为输入输出设备使用。（2）分布式计算与集中式计算相反，分布式计算中，多个通过网络互联的计算机都具有一定的计算能力，它们之间互相传递数据，实现信息共享，协作共同完成一个处理任务。中科院的定义中国科学院对分布式计算有一个定义：分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式计

3、算比起其他算法具有以下几个优点。稀有资源可以共享；通过分布式计算可以在多台计算机上平衡计算负载；可以把程序放在最适合运行它的计算机上。2.1.2分布式计算的原理分布式计算就是将计算任务分摊到大量的计算节点上，一起完成海量的计算任务。而分布式计算的原理和并行计算类似，就是将一个复杂庞大的计算任务适当划分为一个个小任务，任务并行执行，只不过分布式计算会将这些任务分配到不同的计算节点上，每个计算节点只需要完成自己的计算任务即可，可以有效分担海量的计算任务。而每个计算节点也可以并行处理自身的任务，更加充分利用

4、机器的CPU资源。最后再将每个节点的计算结果汇总，得到最后的计算结果。分布式计算一般分为以下几步：1．设计分布式计算模型首先要规定分布式系统的计算模型。计算模型决定了系统中各个组件应该如何运行，组件之间应该如何进行消息通信，组件和节点应该如何管理等。2．分布式任务分配分布式算法不同于普通算法。普通算法通常是按部就班，一步接一步完成任务。而分布式计算中计算任务是分摊到各个节点上的。该算法着重解决的是能否分配任务，或如何分配任务的问题。3．编写并执行分布式程序使用特定的分布式计算框架与计算模型，将分布式算法转化

5、为实现，并尽量保证整个集群的高效运行，难点：（1）计算任务的划分（2）多节点之间的通信方式2.2分布式计算的理论基础2.2.1ACID原则2.2.2CAP理论2.2.3BASE理论2.2.4最终一致性2.2.5一致性散列2.2.1ACID原则ACID是数据库事务正常执行的四个原则，分别指原子性、一致性、独立性及持久性。2.2.1ACID原则1．A（Atomicity）—原子性原子性很容易理解，也就是说事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事

6、务就失败，需要回滚。例如银行转账，从A账户转100元至B账户，分为两个步骤：①从A账户取100元；②存入100元至B账户。这两步要么一起完成，要么一起不完成，如果只完成第一步，第二步失败，钱会莫名其妙少了100元。2.2.1ACID原则2．C（Consistency）—一致性一致性也比较容易理解，也就是说数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。例如现有完整性约束a+b=10，如果一个事务改变了a，那么必须得改变b，使得事务结束后依然满足a+b=10，否则事务失败。2.2.1AC

7、ID原则3．I（Isolation）—独立性所谓的独立性是指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。例如交易是从A账户转100元至B账户，在这个交易还未完成的情况下，如果此时B查询自己的账户，是看不到新增加的100元的。2.2.1ACID原则4．D（Durability）—持久性持久性是指一旦事务提交后，它所做的修改将会永久保存在数据库上，即使出现宕机也不会丢失。这些原则解决了数据的一致性、系统的可靠性等关键问

8、题，为关系数据库技术的成熟以及在不同领域的大规模应用创造了必要的条件。2.2.2CAP理论1．CAP理论定义2000年7月，加州大学伯克利分校的埃里克·布鲁尔（EricBrewer）教授在ACMPODC会议上提出CAP猜想。2年后，麻省理工学院的塞思·吉尔伯符（SethGilbert）和南希·林奇（NancyLynch）从理论上证明了CAP。之后，CAP理论正式成为分布式计算领域的公认定理。一个分布式系统最多只能