集群技术

Kafka【第一篇】Kafka集群搭建 Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 3、Kafka和其他主流分布式消息系统的对比 定义解释： 1、Java 和 scala都是运行在JVM上的语言。 2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing

1.Dubbo是什么？ Dubbo 是一个分布式、高性能、透明化的 RPC 服务框架，提供服务自动注册、自动发现等高效服务治理方案， 可以和 Spring 框架无缝集成。 RPC 指的是远程调用协议，也就是说两个服务器交互数据。 2.Dubbo的由来？ 互联网的快速发展，Web应用程序的规模不断扩大，一般会经历如下四个发展阶段。 单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起即可。 垂直应用架构 当访问量逐渐增大，单一应用按照有业务线拆成多个应用，以提升效率。 此时，用于加速前端页面开发的 Web框架(MVC) 是关键。 分布式服务架构 当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。 此时，用于提高业务复用及整合的 分布式服务框架(RPC) 是关键。 流动计算架构 当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。 此时，用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。 3.Dubbo的主要应用场景？ 透明化的远程方法调用，就像调用本地方法一样调用远程方法，只需简单配置，没有任何API侵入。 软负载均衡及容错机制，可在内网替代F5等硬件负载均衡器，降低成本，减少单点。

一、判断题 (1)VLSM的作用是：在有类的IP地址基础上，从主机位部分划分出相应的位数做为网络位。但是在路由器上部署时，需要路由协议的支持。 【解释】对，VLSM=Variable Length Subnet Mask，可变长子网掩码 (2)有效的沟通是任何组织和任何项目的基础，项目经理可以花90%或者更多的时间在沟通这方面。 【解释】错，项目经理花在沟通上的时间占75%-90% (3)云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机或其它设备。 【解释】对，云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务. (4)MapReduce的核心理念是将一个大的运算任务分解到集群每个节点上，充分运用集群资源，缩短运行时间。 【解释】对，分布式计算架构 Apache MapReduce是google MapReduce的开源实现。是对并行计算的封装

ZooKeeper 是 Apache 的一个顶级项目，为分布式应用提供高效、高可用的分布式协调服务，提供了诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知和分布式锁等分布式基 础服务。由于 ZooKeeper 便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如 Hadoop、HBase、Kafka 和 Dubbo 等大型分布式系统中。 　　 本文的目标读者是对 ZooKeeper 有一定了解的技术人员，将从 ZooKeeper 运行模式、集群组成、容灾和水平扩容四方面逐步深入，最终构建出高可用的 ZooKeeper 集群。 运行模式 　　Zookeeper 有三种运行模式：单机模式、伪集群模式和集群模式。 单机模式 　　这种模式一般适用于开发测试环境，一方面我们没有那么多机器资源，另外就是平时的开发调试并不需要极好的稳定性。 　　在 Linux 环境下运行单机模式需要执行以下步骤： 　　 1. 准备 Java 运行环境 　　　　安装 Java 1.6 或更高版本的 JDK，并配置好 Java 相关的环境变量 $JAVA_HOME 。 　　 2. 下载 ZooKeeper 安装包 　　　　下载地址： http://zookeeper.apache.org/releases.html 。选择最新的 stable 版本并解压到指定目录，我们用 $ZK_HOME

Kubernetes 核心概念 本文整理自 CNCF 和阿里巴巴联合举办的云原生技术公开课的课时 3：Kubernetes 核心概念。本次课程中，阿里巴巴资深技术专家、CNCF 9个 TCO 之一 李响为大家介绍了 Kubernetes 的主要功能与能力、Kubernetes 的架构以及其核心概念与核心 API 等，精彩不容错过。 本次课程的分享主要围绕以下 3 个部分： 什么是 Kubernetes ：介绍 Kubernetes 的主要功能以及能力； Kubernetes 的架构：介绍 Kubernetes 的核心组件，以及介绍它们之间是如何相互互动连接； Kubernetes 的核心概念与核心 API； 一、什么是 Kubernetes Kubernetes，从官方网站上可以看到，它是一个工业级的容器编排平台。Kubernetes 这个单词是希腊语，它的中文翻译是“舵手”或者“飞行员”。在一些常见的资料中也会看到“ks”这个词，也就是“k8s”，它是通过将8个字母“ubernete ”替换为“8”而导致的一个缩写。 Kubernetes 为什么要用“舵手”来命名呢？大家可以看一下这张图： 这是一艘载着一堆集装箱的轮船，轮船在大海上运着集装箱奔波，把集装箱送到它们该去的地方。我们之前其实介绍过一个概念叫做 container，container 这个英文单词也有另外的一个意思就是

3 月，跳不动了？>>> 单机 redis最主要的适用场景:少量数据存储，高速读写访问，数据全部in-momery 的方式来保证高速访问，同时提供数据落地的功能。 分布式 随着用户量的增长，数据量随之增长，大型网站应用，热点数据量往往巨大，几十G上百G是很正常的事儿，这时候我们需要横向扩展，多台主机共同提供服务，既分布多个redis协同工作。大致有如下几种集群方案： 方案一：Redis官方集群方案Redis Cluster Redis Cluster由3.0版本正式推出，是一种服务器sharding技术，对客户端来说是完全透明的。 Redis Cluster中，Sharding采用slot(槽)的概念，一共分成16384个槽。对于每个进入Redis的键值对，根据key进行散列，分配到这16384个slot中的某一个中。使用的hash算法也比较简单，就是CRC16后16384取模。 Redis集群中的每个node(节点)负责分摊这16384个slot中的一部分，也就是说，每个slot都对应一个node负责处理。当动态添加或减少node节点时，需要将16384个槽做个再分配，槽中的键值也要迁移。当然，这一过程，在目前实现中，还处于半自动状态，需要人工介入。 Redis集群，要保证16384个槽对应的node都正常工作，如果某个node发生故障，那它负责的slots也就失效

作者 | 邓青琳（轻零） 阿里巴巴技术专家 导读 ：本文转载自阿里巴巴技术专家邓青琳(轻零)在内部的分享，他从阿里云控制台团队转岗到 ECI 研发团队（Serverless Kubernetes 背后的实现基石），从零开始了解 K8s，并从业务发展的视角整理了 K8s 是如何出现的，又是如何工作的。 前言 2019 年下半年，我做了一次转岗，开始接触到 Kubernetes，虽然对 K8s 的认识还非常的不全面，但是非常想分享一下自己的一些收获，希望通过本文能够帮助大家对 K8s 有一个入门的了解。文中有不对的地方，还请各位老司机们帮助指点纠正。 其实介绍 K8s 的文章，网上一搜一大把，而且 Kubernetes 官方文档也写的非常友好，所以直接上来讲 K8s，我觉得我是远远不如网上的一些文章讲的好的。因此我想换一个角度，通过一个业务发展的故事角度，来讲 K8s 是怎么出现的，它又是如何运作的。 故事开始 随着中国老百姓生活水平的不断提高，家家户户都有了小汽车，小王预计 5 年后，汽车报废业务将会迅速发展，而且国家在 2019 年也出台了新政策 《报废机动车回收管理办法》 ，取消了汽车报废回收的“特种行业”属性，将开放市场化的竞争。 小王觉得这是一个创业的好机会，于是找了几个志同道合的小伙伴开始了创业，决定做一个叫“淘车网”的平台。 故事发展 淘车网一开始是一个 all in

作者 | 匡大虎 阿里巴巴技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 27 讲， 点击直达课程页面 。 关注“阿里巴巴云原生”公众号，回复关键词 “入门” ，即可下载从零入门 K8s 系列文章 PPT。 导读： 访问控制是云原生安全的一个重要组成部分，也是 K8s 集群在多租环境下必要且基本的安全加固手段。在 K8s 体系中，访问控制又分为三个重要的组成部分，请求认证，鉴权和运行时刻的 admission 准入控制。在本文中，作者将带领大家了解这 3 部分的基本定义和使用方法，并给出多租环境下安全加固的相关最佳实践。 一、Kubernetes API 请求访问控制 访问控制 大家都知道访问控制是云原生安全中的一个重要组成部分。也是一个 Kubernetes 集群在多租户环境下必须要采取的一个基本的安全防护手段。 那么在概念上可以抽象的定义为谁在何种条件下可以对什么资源做什么操作。这里的资源就是在 Kubernetes 中我们熟知的：Pod、 ConfigMaps、Deployment、Secrets 等等这样的资源模型。 Kubernetes API 请求 由上图来介绍一下 Kubernetes API 的请求从发起到其持久化入库的一个流程。 首先看一下请求的发起，请求的发起分为两个部分： 第一个部分是人机交互的过程。 是大家非常熟悉的用

作者 | 匡大虎 阿里巴巴技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 27 讲， 点击直达课程页面 。 关注“阿里巴巴云原生”公众号，回复关键词 “入门” ，即可下载从零入门 K8s 系列文章 PPT。 导读： 访问控制是云原生安全的一个重要组成部分，也是 K8s 集群在多租环境下必要且基本的安全加固手段。在 K8s 体系中，访问控制又分为三个重要的组成部分，请求认证，鉴权和运行时刻的 admission 准入控制。在本文中，作者将带领大家了解这 3 部分的基本定义和使用方法，并给出多租环境下安全加固的相关最佳实践。 一、Kubernetes API 请求访问控制 访问控制 大家都知道访问控制是云原生安全中的一个重要组成部分。也是一个 Kubernetes 集群在多租户环境下必须要采取的一个基本的安全防护手段。 那么在概念上可以抽象的定义为谁在何种条件下可以对什么资源做什么操作。这里的资源就是在 Kubernetes 中我们熟知的：Pod、 ConfigMaps、Deployment、Secrets 等等这样的资源模型。 Kubernetes API 请求 由上图来介绍一下 Kubernetes API 的请求从发起到其持久化入库的一个流程。 首先看一下请求的发起，请求的发起分为两个部分： 第一个部分是人机交互的过程。 是大家非常熟悉的用

3 月，跳不动了？>>> 作者 | 邓青琳（轻零） 阿里巴巴技术专家 导读 ：本文转载自阿里巴巴技术专家邓青琳(轻零)在内部的分享，他从阿里云控制台团队转岗到 ECI 研发团队（Serverless Kubernetes 背后的实现基石），从零开始了解 K8s，并从业务发展的视角整理了 K8s 是如何出现的，又是如何工作的。 前言 2019 年下半年，我做了一次转岗，开始接触到 Kubernetes，虽然对 K8s 的认识还非常的不全面，但是非常想分享一下自己的一些收获，希望通过本文能够帮助大家对 K8s 有一个入门的了解。文中有不对的地方，还请各位老司机们帮助指点纠正。 其实介绍 K8s 的文章，网上一搜一大把，而且 Kubernetes 官方文档也写的非常友好，所以直接上来讲 K8s，我觉得我是远远不如网上的一些文章讲的好的。因此我想换一个角度，通过一个业务发展的故事角度，来讲 K8s 是怎么出现的，它又是如何运作的。 故事开始 随着中国老百姓生活水平的不断提高，家家户户都有了小汽车，小王预计 5 年后，汽车报废业务将会迅速发展，而且国家在 2019 年也出台了新政策 《报废机动车回收管理办法》 ，取消了汽车报废回收的“特种行业”属性，将开放市场化的竞争。 小王觉得这是一个创业的好机会，于是找了几个志同道合的小伙伴开始了创业，决定做一个叫“淘车网”的平台。 故事发展