云计算架构

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 前言 在2017年的尾声，中办国办印发《推进互联网协议第六版（IPv6）规模部署行动计划》（以下简称《计划》），加快推进基于 IPv6 的下一代互联网规模部署，计划指出到 2018 年末国内 IPv6 活跃用户数要达到2亿，2020年末达到5亿，2025年末中国 IPv6 规模要达到世界第一。 具体落实下来的指标和要求是这样的： 时间只有一年任务也是非常紧迫，作为国内第一的云服务商，阿里云也是不负众望，在国内公有云中率先推出了 IPV6 解决方案的第一期也就是 SLB、DNS 以及 IPV6 转换服务，第二期的话还会推出 IPV6 网管等产品。 介绍 阿里云在第二季度上线的第一波 IPV6 解决方案产品如下： 一、负载均衡 SLB 支持 IPV6 ，目前 SLB 在国内几个地域内的性能保障型（slb.s1.small）开始上线支持 IPV6了，这样做呢，就可以实现阿里云服务无痛支持 IPV6，因为一些历史性原因现有运行的 ECS 即便支持了 原生 IPV6 也需要进行大量修改， 反而是 SLB 可以实现无痛支持。 相比之前的曲线解决方案，比使用 HE.NET 提供的 Tunnel Broker 隧道和 CloudFlare 这样的 CDN 提供 IPV6 能力相比，SLB方案是内网传输的网络性能无损耗

第7章 Web Services Web Services概述 Web Services背景和概念 1.WEB应用与传统的桌面应用之间存在连接上的鸿沟，平台的互操作性差和异构性等问题严重影响了WEB应用的发展。Web Services的出现正是为了解决跨应用系统、跨平台、跨架构的互操作问题。 2.WebService是一种跨编程语言和跨操作系统平台的远程调用技术。通过Web Services可以使运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可以相互交换数据或进行集成。因此，无论应用之间采用什么语言、平台或内部协议，都可以方便地进行数据的交换。 3.Web Services是基于一些常规的产业标准和已有的成熟技术，如XML和HTTP等开放式Web规范技术，因此，它具有很好的开放性和互操作性。此外，Web Services的协议、接口和注册以松耦合方式协同工作，减少了应用程序接口的花费，为整个企业间业务流程集成提供了一个通用机制。 Web Services 特点 1.良好的封装性 —Web Services是一种部署在Web上的对象，因此具有对象的特点，即良好的封装性。这样服务使用者只能看到对象提供的通用接口和功能列表，而不用关心服务的实现细节。 2.松耦合 —只要Web Services的调用接口不变，其内部变更对调用者来说是透明的

==openstack== IaaS 云计算基础架构平台 基础环境： 1.使用命令行方式设置主机名，防火墙以及 SELinux 设置如下： （1）设置控制节点主机名 controller；计算节点主机名：compute。 # hostnamectl set-hostname controller # hostnamectl set-hostname compute （2）各个节点关闭防火墙，设置开机不启动。 # systemctl stop firewalld.service # systemctl disable firewalld.service （3）设置各个节点 selinux 状态为 permissive。 # vi /etc/selinux/config SELINUX=permissive 2.使用命令查询控制/计算节点的主机名。 # hostname 3 .使用命令查询控制/计算节点 selinux 的状态。 # getenforce 4 .在控制节点上通过 SecureFX 上传两个镜像文件 CentOS-7-x86_64-DVD-1511.iso， XianDian-IaaS-v2.2.iso 到 opt 下，使用命 令创建/opt 下两个目录，并将以上镜像文件分别挂载到上述两个目录下，并 使用命令查看挂载的情况（需显示挂载的文件系统类型和具体的大小）。 #

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以在不了解分布式底层细节的情况下，开发分布式程序，以满足在低性能的集群上实现对高容错，高并发的大数据集的高速运算和存储的需要。Hadoop支持超大文件（可达PB级），能够检测和快速应对硬件故障、支持流式数据访问、同时在简化的一致性模型的基础上保证了高容错性。因而被大规模部署在分布式系统中，应用十分广泛。 本实训的主要目标是让大家学习Hadoop的基本概念如MapReduce、HDFS等，并掌握Hadoop的基本操作，主要包括MapReduce编程（词频统计）、HDFS文件流读取操作、MapReduce迭代等。通过本次实训，建立起对Hadoop云计算的初步了解，后续大家可以通过进阶学习来深入学习Hadoop内部实现机制进行高级的应用开发。 本关任务 词频统计是最能体现MapReduce思想的程序，结构简单，上手容易。 词频统计的大致功能是：统计单个或者多个文本文件中每个单词出现的次数，并将每个单词及其出现频率按照 <k，v> 键值对的形式输出，其基本执行流程如下图所示： 由图可知： 输入文本（可以不只一个），按行提取文本文档的单词，形成行 k 1 , v 1 k 1 , v 1 键值 对具体形式很多，例如 行 数 ， 字 符 ƫ 移 行 数 ， 字 符 ƫ 移 等； 通过Spliting将 k 1 ， v 1 k 1

一.与Minix之间 Linus Torvalds (托瓦兹, 1969年出生)的外祖父是赫尔辛基大学的统计学家， 他的外祖父为了让自己的小孙子能够学点东西，所以从小就将托瓦兹带到身边来管理一些微计算机。 在这个时期，托瓦兹接触了汇编语言(Assembly Language)，那是一种直接与芯片对谈的程序语言，也就是所谓的低级语言。 必须要很了解硬件的架构，否则很难以汇编语言撰写程序的。 在1988年间，托瓦兹顺利的进入了赫尔辛基大学，并选读了计算机科学系。在就学期间，因为学业的需要与自己的兴趣， 托瓦兹接触到了Unix这个操作系统。当时整个赫尔辛基只有一部最新的Unix系统，同时仅提供16个终端机(terminal)。 还记得我们上一节刚刚提过的，早期的计算机仅有主机具有运算功能，terminal仅负责提供Input/Output而已。在这种情况下， 实在很难满足托瓦兹的需求，因为.....光是等待使用Unix的时间，就很耗时～为此，他不禁想到： 『我何不自己搞一部Unix来玩？』不过，就如同Stallman当初的GNU计划一样，要写核心程序，谈何容易～ 不过，幸运之神并未背离托瓦兹，因为不久之后，他就知道有一个类似Unix的系统， 并且与Unix完全兼容，还可以在Intel 386机器上面跑的操作系统， 那就是我们上一节提过的，谭宁邦教授为了教育需要而撰写的Minix系统！

没有软件的运作，计算机的功能就无从发挥，硬件资源需要软件的调度才能发挥作用，目前的计算机系统将软件分为两大类，一个是系统软件，一个是应用程序 一.机器程序与编译程序 计算机最重要的运算与逻辑判断是在CPU内部， 而CPU其实是具有微指令集的。因此，我们需要CPU帮忙工作时，就得要参考微指令集的内容， 然后撰写让CPU读的懂得指令码给CPU执行 综上的话，我们需要如下技能 需要了解机器语言：机器只认识0与1，因此你必须要学习直接写给机器看的语言！ 这个地方相当的难 需要了解所有硬件的相关功能函数：因为你的程序必须要写给机器看， 当然你就得要参考机器本身的功能，然后针对该功能去撰写程序码。例如，你要让DVD影片能够放映， 那就得要参考DVD光驱的硬件信息才行。万一你的系统有比较冷门的硬件，光是参考技术手册可能会昏倒～ 程序不具有可携性：每个CPU都有独特的微指令集，同样的，每个硬件都有其功能函数。 因此，你为A计算机写的程序，理论上是没有办法在B计算机上面运作的！而且程序码的修改非常困难！ 因为是机器码，并不是人类看的懂得程序语言啊！ 程序具有专一性：因为这样的程序必须要针对硬件功能函数来撰写， 如果已经开发了一支浏览器程序，想要再开发档案管理程序时，还是得从头再参考硬件的功能函数来继续撰写， 每天都在和『硬件』挑战！ 所以不难看出，直接使用机器语言是非常有难度的一个事情

一、创建虚拟网络（Self-service network） 网络概述图： 网络连接图： 1、创建self-service网络 （1）加载系统变量： [root@ren3 ~]# source openrc （2）创建网络： [root@ren3 ~]# openstack network list [root@ren3 ~]# openstack network create selfservice +---------------------------+--------------------------------------+ | Field | Value | +---------------------------+--------------------------------------+ | admin_state_up | UP | | availability_zone_hints | | | availability_zones | | | created_at | 2019-10-15T06:41:10Z | | description | | | dns_domain | None | | id | c13ba919-6fb8-44f3-94f2-2f637c16db50 | | ipv4_address_scope | None | | ipv6

一、Keystone介绍： 　　keystone 是OpenStack的组件之一，用于为OpenStack家族中的其它组件成员提供统一的认证服务，包括身份验证、令牌的发放和校验、服务列表、用户权限的定义等等。云环境中所有的服务之间的授权和认证都需要经过 keystone. 因此 keystone 是云平台中第一个即需要安装的服务。 作为 OpenStack 的基础支持服务，Keystone 做下面这几件事情： 管理用户及其权限 维护 OpenStack Services 的 Endpoint Authentication（认证）和 Authorization（鉴权） 学习 Keystone，需要理解下面这些概念： 1、user User 指代任何使用 OpenStack 的实体，可以是真正的用户，其他系统或者服务。 当 User 请求访问 OpenStack 时，Keystone 会对其进行验证。Horizon 在 Identity->Users 管理 User admin ：openstack平台的超级管理员，负责openstack服务的管理和访问权限 demo： 常规（非管理）任务应该使用无特权的项目和用户，所有要创建 demo 项目和 demo 用户 除了 admin 和 demo，OpenStack 也为 nova、cinder、glance、neutron

如今，越来越多的人通过 AWS 来入门云计算。很多初学者都迫切地想要知道如何才能成为一名 Linux 管理员，于是我想通过本文详细介绍一下云计算的相关知识，希望能够借此来解答开发者心中的疑问。本文既包括 AWS 的基础知识，又包括复杂架构的自动化部署这样的高级操作。读者可以根据自己的背景和基础，选择自己感兴趣的部分阅读。 开始之前，我先假设你具备以下能力： 拥有初级或者中级的 Linux 系统管理技能。 至少熟悉一门编程语言或者脚本语言。不必特别精通，但是要有实际的编程经历。 愿意花时间去解决一些复杂的问题。 需要花费一点钱购买 AWS 服务，从而提高自己的技能。 本指南使用须知： 首先，本指南不会一步一步手把手地教你如何操作。 我会循序渐进地引导你。因此，你需要真正理解每一部分，然后再阅读下一部分。 遇到问题时你要善用谷歌搜索、AWS 文档以及 Stack Overflow 网站去寻找答案。 使用最正确的方式，不要只顾图快。当然，先用快速的方法完成，然后再进行重构也未尝不可。 在学习过程中充分理解之后再去服务器上进行实际操作。使用不到 50 美元的 AWS 版本即可完成本指南中的所有工作。重新构建的过程能够帮助你加深理解。 跳过开头先去阅读“成本分析”和“自动化”两部分的内容，阅读其他部分的时候保证这两部分的内容了然于胸。 最后，一定要多动手进行实际操作。此时不做，更待何时。

glance做什么 OpenStack 由 Glance 提供 Image 服务 获取镜像位置 https://docs.openstack.org/image-guide/obtain-images.html#centos 理解 Image 要理解 Image Service，先得搞清楚什么是 Image 以及为什么要用 Image？ 在传统 IT 环境下，安装一个系统要么从安装 CD 从头安装，要么用 Ghost 等克隆工具恢复。这两种方式有如下几个问题： 如果要安装的系统多了效率就很低 时间长，工作量大 安装完还要进行手工配置，比如安装其他的软件，设置 IP 等 备份和恢复系统不灵活 云环境下需要更高效的方案，这就是 Image。 Image 是一个模板，里面包含了基本的操作系统和其他的软件。 举例来说，有家公司需要为每位员工配置一套办公用的系统，一般需要一个 Win7 系统再加 MS office 软件。 OpenStack 是这么玩的： 先手工安装好这么一个虚机 然后对虚机执行 snapshot，这样就得到了一个 image 当有新员工入职需要办公环境时，立马启动一个或多个该 image 的 instance（虚机）就可以了 在这个过程中，第 1 步跟传统方式类似，需要手工操作和一定时间，但第 2、3 步非常快，全自动化，一般都是秒级别。而且 2、3 步可以循环做。