云计算技术分布式计算.pptx
《云计算技术分布式计算.pptx》由会员分享,可在线阅读,更多相关《云计算技术分布式计算.pptx(82页珍藏版)》请在启牛文库网上搜索。
1、,云计算原理与实践Principles and Practice of Cloud Computing,Outline,2.1 分布式计算概述2.2 分布式计算的理论基础2.3 分布式系统概述2.4 分布式系统的进阶2.5 典型的分布式系统,Data Science,Statistics,Machine Learning,Domain expertise,Mathematics,Data engineering,2.1 分布式计算概述,2.1.1 基本概念2.1.2 分布式计算的原理,2.1.1 基本概念,(1)集中式计算集中式计算完全依赖于一台大型的中心计算机的处理能力,这台中心计算机称为主
2、机(Host或mainframe),与中心计算机相连的终端设备具有各不相同非常低的计算能力。实际上大多数终端完全不具有处理能力,仅作为输入输出设备使用。(2)分布式计算 与集中式计算相反,分布式计算中,多个通过网络互联的计算机都具有一定的计算能力,它们之间互相传递数据,实现信息共享,协作共同完成一个处理任务。,中科院的定义,中国科学院对分布式计算有一个定义:分布式计算就是在两个或多个软件互相共享信息,这些软件既可以在同一台计算机上运行,也可以在通过网络连接起来的多台计算机上运行。,分布式计算比起其他算法具有以下几个优点。稀有资源可以共享;通过分布式计算可以在多台计算机上平衡计算负载;可以把程序
3、放在最适合运行它的计算机上。,2.1.2 分布式计算的原理,分布式计算就是将计算任务分摊到大量的计算节点上,一起完成海量的计算任务。而分布式计算的原理和并行计算类似,就是将一个复杂庞大的计算任务适当划分为一个个小任务,任务并行执行,只不过分布式计算会将这些任务分配到不同的计算节点上,每个计算节点只需要完成自己的计算任务即可,可以有效分担海量的计算任务。而每个计算节点也可以并行处理自身的任务,更加充分利用机器的CPU资源。最后再将每个节点的计算结果汇总,得到最后的计算结果。,分布式计算一般分为以下几步:1设计分布式计算模型首先要规定分布式系统的计算模型。计算模型决定了系统中各个组件应该如何运行,
4、组件之间应该如何进行消息通信,组件和节点应该如何管理等。2分布式任务分配分布式算法不同于普通算法。普通算法通常是按部就班,一步接一步完成任务。而分布式计算中计算任务是分摊到各个节点上的。该算法着重解决的是能否分配任务,或如何分配任务的问题。3编写并执行分布式程序使用特定的分布式计算框架与计算模型,将分布式算法转化为实现,并尽量保证整个集群的高效运行,难点:(1)计算任务的划分(2)多节点之间的通信方式,2.2 分布式计算的理论基础,2.2.1 ACID 原则2.2.2 CAP理论2.2.3 BASE理论2.2.4 最终一致性2.2.5 一致性散列,2.2.1 ACID原则,ACID是数据库事务
5、正常执行的四个原则,分别指原子性、一致性、独立性及持久性。,2.2.1 ACID原则,1A(Atomicity)原子性原子性很容易理解,也就是说事务里的所有操作要么全部做完,要么都不做,事务成功的条件是事务里的所有操作都成功,只要有一个操作失败,整个事务就失败,需要回滚。例如银行转账,从A账户转100元至B账户,分为两个步骤:从A账户取100元;存入100元至B账户。这两步要么一起完成,要么一起不完成,如果只完成第一步,第二步失败,钱会莫名其妙少了100元。,2.2.1 ACID原则,2C(Consistency)一致性一致性也比较容易理解,也就是说数据库要一直处于一致的状态,事务的运行不会改
6、变数据库原本的一致性约束。例如现有完整性约束a+b=10,如果一个事务改变了a,那么必须得改变b,使得事务结束后依然满足a+b=10,否则事务失败。,2.2.1 ACID原则,3I(Isolation)独立性所谓的独立性是指并发的事务之间不会互相影响,如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未提交,它所访问的数据就不受未提交事务的影响。例如交易是从A账户转100元至B账户,在这个交易还未完成的情况下,如果此时B查询自己的账户,是看不到新增加的100元的。,2.2.1 ACID原则,4D(Durability)持久性持久性是指一旦事务提交后,它所做的修改将会永久保存在数据
7、库上,即使出现宕机也不会丢失。这些原则解决了数据的一致性、系统的可靠性等关键问题,为关系数据库技术的成熟以及在不同领域的大规模应用创造了必要的条件。,2.2.2 CAP理论,1CAP理论定义2000年7月,加州大学伯克利分校的埃里克布鲁尔(Eric Brewer)教授在ACM PODC会议上提出CAP猜想。2年后,麻省理工学院的塞思吉尔伯符(Seth Gilbert)和南希林奇(Nancy Lynch)从理论上证明了CAP。之后,CAP理论正式成为分布式计算领域的公认定理。一个分布式系统最多只能同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Parti
8、tion tolerance)这三项中的两项,如图2.1所示。,一致性,一致性指“All nodes see the same data at the same time”,即更新操作成功并返回客户端完成后,所有节点在同一时间的数据完全一致。对于一致性,可以分为从客户端和服务端两个不同的视角来看。从客户端来看,一致性主要指多并发访问时更新过的数据如何获取的问题。从服务端来看,则是如何将更新复制分布到整个系统,以保证数据的最终一致性问题。,可用性,可用性是指“Reads and writes always succeed”,即服务一直可用,而且是在正常的响应时间内。对于一个可用性的分布式系统,每
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 技术 分布式