分布式计算

第八章 云计算原理与技术 云计算是什么 对一般用户而言：云计算是指通过网络以按需、易扩展的方式获得所需的服务。即随时随地只要能上网就能使用各种各样的服务，如同钱庄、银行、发电厂等。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。 对专业人员而言：是分布式处理、并行处理和网格计算的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式–即把原本存储于个人电脑、移动设备等个人设备上的大量信息集中在一起，在强大的服务器端协同工作。它是一种新兴的共享计算资源的方法，能够将巨大的系统连接在一起，以提供各种计算服务。 云计算与分布式计算 分布式计算（狭义）：将待解决问题分成多个小问题，再分配给许多计算系统处理，最后将处理结果加以综合。 特点：把计算任务分派给网络中的多台独立的机器 优点 稀有资源可以共享 通过分布式计算可以在多台计算机上平衡计算负载 可以把程序放在最适合运行它的计算机上 流行的分布式项目 SETI@Home：寻找外星文明 RC-72：密码分析破解，研究和寻找最为安全的密码系统 Folding@home：研究蛋白质折叠、聚合问题 United Devices：寻找对抗癌症的有效的药物 GIMPS：寻找最大的梅森素数（解决较为复杂的数学问题） 云计算包含的分布式计算特征： （1）通过资源调度和组合满足用户的资源请求 （2）对外提供统一的、单一的接口

第二章 分布式计算泛型 分布式计算泛型也就是 分布式计算模式例子或模型 。 分布式计算泛型包括消息传递、客户/服务器、p2p、消息系统、远程过程调用、分布式对象、网络服务、移动代理和云服务九种常见泛型。 2.1 消息传递泛型 消息传递是进程之间互相通信的基本途径。 工作原理：两个进程间传递消息，一个为发送者，一个为接收者。发送者发送一条请求消息，该消息被传送到接收者，由接收者处理并发送一条应答消息。 消息传递模式是最基本的传递消息的泛型，很多即时通信工具都是基于该泛型的具体应用。 2.2 客户/服务器泛型 工作原理：客户/服务器泛型由客户端和服务器组成，为两个协作进程分配非对称角色，客户进程向服务器发起请求并等待响应，服务器进程等待来自客户的请求给出回应。 客户/服务器泛型是网络应用中使用最多的一种分布式计算泛型。 2.3 p2p泛型 P2P泛型源于P2P网络（又称为对等计算机网络）。p2p网络是一种无中心服务器，依赖用户群交换的互联网体系，每个用户端既是一个节点，又有服务器的功能。可以说是没有服务器，也可以说每个用户端都是一台服务器。 工作原理：服务器进程提供服务，客户进程通过服务器访问服务。 2.4 消息系统泛型 消息系统泛型或面向对象的中间件是在基本的消息传递泛型的基础上扩展而来的。 工作原理：消息系统充当独立的进程之间的中介，不同的进程以非耦合方式通过消息系统异步地交换消息

第二章 分布式计算范型： 1、客户/服务器范型 客户/服务器范型是网络应用中使用最多的一种分布式计算范型，该模式将非对称角色分配给两个协作进程。其中，服务器进程扮演服务器提供者角色，被动地等待请求的到达，客户进程向服务器发起请求，并等待服务器响应。 2、P2P范型 P2P网络是无中心服务器， 依赖用户群交换的互联网体系。与客户/服务器结构的系统不同，在P2P网络中，每个用户端既是一个结点，又有服务器的功能，任何一个结点无法直接找到其他结点，必须依靠其 用户群进行信息交流。 在P2P的范型中，各参与进程的地位是平等的，具有相同的性能和责任。每个参与者（进程） 都可以向另一个参与者发起请求和接收响应。在一个基于P2P范型的分布式应用中，每一个 参与的进程往往既承担服务器进程的角色，又承担客户进程的角色。 3、消息系统范型 消息系统范型或面向对象的中间伯（MOM）是在基本的消息传递范型的基本上扩展而来的。 在这种范型中，消息系统充当一些相当独立的进程之间的中介。不同的进程以非耦合的方式，通过消息系统异步地交换消息。消息发送者在发送消息时，将一条消息放入消息系统 中，后者接着将该消息转发到与各个接收者相应的消息接收队列时，一旦消息发送出去， 发送者即可执行其它任务了。 消息系统范型进一步划分为两种子类型：点对点消息范型和发布/订阅消息范型 4、远程过程调用范型

第7章 Web Services Web Services概述 Web Services背景和概念 1.WEB应用与传统的桌面应用之间存在连接上的鸿沟，平台的互操作性差和异构性等问题严重影响了WEB应用的发展。Web Services的出现正是为了解决跨应用系统、跨平台、跨架构的互操作问题。 2.WebService是一种跨编程语言和跨操作系统平台的远程调用技术。通过Web Services可以使运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可以相互交换数据或进行集成。因此，无论应用之间采用什么语言、平台或内部协议，都可以方便地进行数据的交换。 3.Web Services是基于一些常规的产业标准和已有的成熟技术，如XML和HTTP等开放式Web规范技术，因此，它具有很好的开放性和互操作性。此外，Web Services的协议、接口和注册以松耦合方式协同工作，减少了应用程序接口的花费，为整个企业间业务流程集成提供了一个通用机制。 Web Services 特点 1.良好的封装性 —Web Services是一种部署在Web上的对象，因此具有对象的特点，即良好的封装性。这样服务使用者只能看到对象提供的通用接口和功能列表，而不用关心服务的实现细节。 2.松耦合 —只要Web Services的调用接口不变，其内部变更对调用者来说是透明的

我在区块链会议上就即将到来的公共“分布式云”系统进行了讨论，该系统将主流的公共云平台（如AWS，Azure，Google Cloud，Heroku等）与区块链和P2P网络相结合，比如以太坊，IPFS，EOS，TRON，NEM，NEO，Storj，Sia......为什么？因为分布式组织（DAO）和分布式计算的发展趋势很好，并且行业需要更强大的平台来构建和运行DApp（分布式应用程序）。 让我与大家分享一下我对未来分布式计算网络（也称为“分布式云平台”）的看法。 计算模型和软件系统一直在变化：从独立软件到客户端 - 服务器系统，再到基于云的基础架构和平台。现在，计算模型的下一个重大变革即将到来，它将影响许多行业：分布式，包括一种新型的分布式组织，执行分布式流程，使用分布式数据存储，分布式计算系统，运行和发展分布治理。区块链和其他分布式账本技术（DLT）以及即将推出的分布式数据库，存储系统和其他分布式计算组件将成为新的“分布式云”的核心，这将允许运行分布的IT基础架构和“软件组织” （DAO）在权力下放的治理下没有所有者，没有雇员。由于其透明性，安全性，可追溯性，降低成本和削减中间人的能力，这种区块链和分布运动为许多行业带来了创新和转型：财务，供应链，医疗保健，政府，预测，保险，流动性，投票， IT基础设施，电信和其他。 分布式计算的演变 计算模型发展：单机 - >数据中心 -

一、业务领域建模的含义 领域建模是描述业务用例实现的对象模型，它是对业务角色和业务实体之间应该如何联系和协作以执行业务的一种抽象。业务对象模型从业务角色内部的观点定义了业务用例。该模型为产生预期效果确定了业务人员以及他们处理和使用的对象之间应该具有的静态和动态关系。它注重业务中承担的角色及其当前职责。这些模型类的对象组合在一起可以执行所有的业务用例。（以上定义摘自百度百科） 二、为什么要进行领域建模 使用领域建模可以对现实中的事务进行充分的抽象，让我们发掘重要的业务领域概念，同时建立各个业务领域之间的联系，让我们对业务有更加清晰的认识。 三、如何进行领域建模 1、命名 对每个业务角色和实体进行命名，要求名称能够表示对象的职责。 2、找关系 对命名好的类，尽可能发掘类之间的关联，如继承、依赖等联系。 3、加属性 对每一个类，我们要添加其的主要属性，且属性简单为宜，复杂概念可单独列为一个类。 四、我的工程实践的业务领域建模 我的工程设计项目与云计算有关，接下来就云计算进行业务领域建模： 找出类和对象： 名词有用户、云计算提供商、云计算、分布式计算、云计算安全。 添加属性方法： 类 属性方法 备注 用户 提交数据到云端进行处理 无 云计算提供商 提供云计算的实体，负责处理用户提交的数据并返回结果 无 云计算 是一种基于网络的分布式计算 无 分布式计算

转载自 高可用高并发的 9 种技术架构 1、分层 分层是企业应用系统中最常见的一种架构模式，将系统在横向维度上切分成几个部分，每个部分负责一部分相对简单并比较单一的职责，然后通过上层对下层的依赖和调度组成一个完整的系统。 在网站的分层架构中，常见的为3层，即应用层、服务层、数据层。应用层具体负责业务和视图的展示；服务层为应用层提供服务支持；数据库提供数据存储访问服务，如数据库、缓存、文件、搜索引擎等。 分层架构是逻辑上的，在物理部署上，三层架构可以部署在同一个物理机器上，但是随着网站业务的发展，必然需要对已经分层的模块分离部署，即三层结构分别部署在不同的服务器上，是网站拥有更多的计算资源以应对越来越多的用户访问。 所以虽然分层架构模式最初的目的是规划软件清晰的逻辑结构以便于开发维护，但在网站的发展过程中，分层结构对网站支持高并发向分布式方向的发展至关重要。 2、冗余 网站需要7×24小时连续运行，那么就得有相应的冗余机制，以防某台机器宕掉时无法访问，而冗余则可以通过部署至少两台服务器构成一个集群实现服务高可用。数据库除了定期备份还需要实现冷热备份。甚至可以在全球范围内部署灾备数据中心。 3、分隔 如果说分层是将软件在横向方面进行切分，那么分隔就是在纵向方面对软件进行切分。 网站越大，功能越复杂，服务和数据处理的种类也越多，将这些不同的功能和服务分隔开来，包装成高内聚低耦合的模块单元

分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。 分布式计算是一门计算机科学 ，主要研究分布式系统 。一个分布式系统包括若干通过网络互联的计算机。这些计算机互相配合以完成一个共同的目标（我们将这个共同的目标称为“项目”）。具体的过程是：将需要进行大量计算的项目数据分割成小块，由多台计算机分别计算，再上传运算结果后统一合并得出数据结论。在分布式系统上运行的计算机程序称为分布式计算程序；分布式编程就是编写上述程序的过程。 分布式计算项目的种类非常多，相当一部分项目的参加和使用方式各异，幸运的是从2004年开始，由SETI@home项目组推出的BOINC ƽ̨ 得到了日益广泛的使用，大部分在其后产生的新项目和少部分先其产生的老项目都建立在或迁移到了BOINC平台上，这就大大减轻了志愿者参加多个分布式计算项目的难度。 任务单元，又称为任务包，对应的英文单词为Workunit，可简称WU，是分布式计算项目的 客户端 分配到的最小单元的计算任务。客户端在连接到项目服务器后，可下载一个或多个新任务单元，计算完成后，再将这些任务单元的计算结果上传给项目服务器

第一章 1.大数据的四个特点（4V） （1）数据量大（Volume）：数据量十分巨大，已经从TB级别跃升到PB级别 （2）数据类型繁多（Variety）：分为结构化数据（10%），非结构化数据（90%），非结构化数据包含半结构化数据；结构化数据指存储在关系数据库种的数据，后者种类繁多，包括邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息，网络日志等 （3）处理速度快（Velocity）：实时分析结果、秒级响应 （4）价值密度低（Value）：价值密度远低于传统关系数据库种已有的那些数据 2.大数据计算模式 (1)批处理计算： A：MapReduce：大数据批处理技术，可以并行执行大规模数据处理任务，用于大规模数据集的并行计算。 B：Spark：一个针对大数据集合的低延迟的集群分布式计算系统，比MapReduce快许多 (2)流计算： 流数据是指在时间分布和数量上误先的一系列动态数据集合体，书记的价值随时间的流失而降低，因此必须采用实时计算的方式给出秒级响应。 流计算：可以实时处理来自不同数据源的、连续到达的流数据，经过实时分析处理、给出有价值的分析结果。 3.云计算 （1）.云计算的概念 1.云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力 2.云计算3种服务模式： a：IaaS（基础设施即服务）：将基础设施（计算资源（cpu、内存）和存储（磁盘））作为服务出租

附Java/C/C++/机器学习/算法与数据结构/前端/安卓/Python/程序员必读书籍书单大全： 书单导航页（点击 右侧 极客侠栈 即可打开个人博客）： 极客侠栈 ① 【Java】学习之路吐血整理技术书从入门到进阶最全50+本（珍藏版) ② 【算法数据结构+acm】从入门到进阶吐血整理书单50+本（珍藏版) ③ 【数据库】从入门到进阶必读18本技术书籍网盘吐血整理网盘(珍藏版) ④ 【Web前端】从HTML到JS到AJAX到HTTP从框架到全栈帮你走更少弯路(珍藏版) ⑤ 【python】书最全已整理好（从入门到进阶）(珍藏版) ⑥ 【机器学习】+python整理技术书（从入门到进阶已经整理好）（珍藏版） ⑦ 【C语言】推荐书籍从入门到进阶带你走上大牛之路（珍藏版） ⑧ 【安卓】入门到进阶推荐书籍整理pdf书单整理（珍藏版） ⑨ 【架构师】之路史诗级必读书单吐血整理四个维度系列80+本书(珍藏版) ⑩ 【C++】吐血整理推荐书单从入门到进阶成神之路100+本(珍藏) 【ios】IOS书单从入门到进阶吐血整理(珍藏版) ------------------------------------------------------------------------------------------------------------------------------------