集群技术

关于的知识点总结成了思维导图 1、什么是 Redis? Redis 是完全开源免费的，遵守 BSD 协议，是一个高性能的 key-value 数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： （1）Redis 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 （2）Redis 不仅仅支持简单的 key-value 类型的数据，同时还提供 list，set，zset，hash 等数据结构的存储。 （3）Redis 支持数据的备份，即 master-slave 模式的数据备份。 Redis 优势 （1）性能极高 – Redis 能读的速度是 110000 次/s,写的速度是 81000 次/s 。 （2）丰富的数据类型 – Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及Ordered Sets 数据类型操作。 （3）原子 – Redis 的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过 MULTI 和 EXEC指令包起来。 （4）丰富的特性 – Redis 还支持 publish/subscribe, 通知, key 过期等等特性。 Redis 与其他 key-value 存储有什么不同？ （1）Redis

关于的知识点总结成了思维导图 1、什么是 Redis? Redis 是完全开源免费的，遵守 BSD 协议，是一个高性能的 key-value 数据库。 Redis 与其他 key - value 缓存产品有以下三个特点： （1）Redis 支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 （2）Redis 不仅仅支持简单的 key-value 类型的数据，同时还提供 list，set，zset，hash 等数据结构的存储。 （3）Redis 支持数据的备份，即 master-slave 模式的数据备份。 Redis 优势 （1）性能极高 – Redis 能读的速度是 110000 次/s,写的速度是 81000 次/s 。 （2）丰富的数据类型 – Redis 支持二进制案例的 Strings, Lists, Hashes, Sets 及Ordered Sets 数据类型操作。 （3）原子 – Redis 的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过 MULTI 和 EXEC指令包起来。 （4）丰富的特性 – Redis 还支持 publish/subscribe, 通知, key 过期等等特性。 Redis 与其他 key-value 存储有什么不同？ （1）Redis

作者 | 声东 阿里云售后技术专家 导读 ：排查完全陌生的问题、完全不熟悉的系统组件，是售后工程师的一大工作乐趣，当然也是挑战。今天借这篇文章，跟大家分析一例这样的问题。排查过程中，需要理解一些自己完全陌生的组件，比如 systemd 和 dbus。但是排查问题的思路和方法基本上还是可以复用了，希望对大家有所帮助。 问题一直在发生 1. I’m NotReady 阿里云有自己的 Kubernetes 容器集群产品。随着 Kubernetes 集群出货量的剧增，线上用户零星的发现，集群会非常低概率地出现节点 NotReady 情况。 据我们观察，这个问题差不多每个月就会有一到两个客户遇到。在节点 NotReady 之后，集群 Master 没有办法对这个节点做任何控制，比如下发新的 Pod，再比如抓取节点上正在运行 Pod 的实时信息。 2. 需要知道的 Kubernetes 知识 这里我稍微补充一点 Kubernetes 集群的基本知识。Kubernetes 集群的“硬件基础”，是以单机形态存在的集群节点。这些节点可以是物理机，也可以是虚拟机。集群节点分为 Master 和 Worker 节点。 Master 节点主要用来负载集群管控组件，比如调度器和控制器； 而 Worker 节点主要用来跑业务。Kubelet 是跑在各个节点上的代理，它负责与管控组件沟通，并按照管控组件的指示

概述 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 前言 这篇博客应该很早就发表了，只是当时环境搭建好了之后没有及时做笔记，后来又不想重新搭建，所以才拖到今天。还有就是这篇博客安装的是 Hbase-0.98 的版本，与之前说要安装 0.96 的说明不吻合，这里统一说明，之前的博客就不更改了。还有一点就是，本文的安装过程很顺，没有出现什么启动不了，或是运行异常的行为。如果你在安装的过程出现了一些不好的事情，那么你可能会在本文中找到一些蛛丝马迹，也可能一无所获。只是我希望你可以理解到，本文并非胡编乱邹。 版权说明 著作权归作者所有。 商业转载请联系作者获得授权，非商业转载请注明出处。 本文作者： Q-WHai 发表日期： 2016年6月8日 本文链接： http://blog.csdn.net/lemon_tree12138

Introducing Oracle ACFS and Oracle ADVM ASM集群文件系统(Oracle ACFS)和ASM动态卷管理器(Oracle ADVM)提供了存储管理的关键组件。 本章描述了Oracle自动存储管理集群文件系统(Oracle ACFS)和Oracle ASM动态卷管理器(Oracle ADVM)的组成部分。 本章通过以下主题提供了Oracle ACFS和Oracle ADVM特性的概念和概述: Oracle ACFS概述 理解Oracle ACFS的概念 了解Oracle ACFS管理 ASM动态卷管理器概述 Overview of Oracle ACFS Oracle ACFS概述 Oracle自动存储管理集群文件系统(Oracle ACFS)是一种多平台、可伸缩的文件系统和存储管理技术，它扩展了Oracle自动存储管理(Oracle ASM)功能，支持所有客户文件。 Oracle ACFS支持Oracle数据库文件和应用程序文件，包括可执行文件、数据库数据文件、数据库跟踪文件、数据库警报日志、应用程序报告、BFILEs和配置文件。 其他受支持的文件包括视频、音频、文本、图像、工程绘图和所有其他通用应用程序文件数据。 Oracle ACFS遵循针对Linux和UNIX的POSIX标准，以及针对Windows的Windows标准。 Oracle

一、kafka基础介绍 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一，Kafka可以实现高效文件存储，实际应用效果极好。 1.1） kafka名词解释（架构的四个部分） - producer：生产者。 - consumer：消费者。 - topic: 消息以topic为类别记录,Kafka将消息种子(Feed)分门别类,每一类的消息称之为一个主题(Topic)。 - broker：以集群的方式运行,可以由一个或多个服务组成

lvs简介 ​ Linux 虚拟服务器(Linux Virtual Servers,LVS) 使用负载均衡技术将多台服务器组成一个虚拟服务器。它为适应快速增长的网络访问需求提供了一个负载能力易于扩展，而价格低廉的解决方案。 名词说明 单词 说明 LB 负载均衡器 VIP 负载均衡器IP地址，作为访问入口 CIP 客户端IP RIP 真实服务器地址 RS 真实服务器 LVS结构与工作原理 1、LVS的结构 ​ 虚拟服务器的体系结构如图所示，一组服务器通过局域网或广域网相连接，前端有一个负载调度器(Load Balancer), 负载均衡器将网络请求调度至真实服务器 (Real Server RS)群 上，LVS这种结构对用户来说是透明的，用户访问只能看到一台作为LB的虚拟服务器 (virtual server VS), 当用户请求发往RS， LB根据设定的包转发策略和负载均衡调度算法在转发给RS， RS最终在将用户请求的结果返回。 2、LVS内核模型 ​ 首先lvs是基于tcp四层传输层协议，它根据请求报文的目标IP和PORT将其转发至后端主机集群中的某一台主机(根据挑选算法) 当客户端的请求到达 LB 的内核空间时，首先会到达 PREROUTING链 当内核发现请求数据包的 目的地址是本机 时， 将数据包送往 INPUT链 LVS由 用户空间的 ipvsadm 和

简介 系统管理员（SA）通常需要管理和维护数以百计的服务器，如果没有自动化的配置管理和命令执行工具，那么SA的工作将会变得很繁重。例如，要给集群中的每个服务器添加一个系统用户，那么他必须登陆到每台服务器上去逐一的执行命令。好在有编程能力的SA能通过bash + ssh的方式来自动化自己的工作，于是出现了ClusterShell这一类的工具。但这类工具只是解决了远程命令调用的问题，并没有对一些运维的过程进行抽象，在面对不同的操作系统等环境时，使用会变得复杂和繁琐，对常见的运维操作，如包管理、配置文件分发也没有很好的支持。于是出现了CFEngine，Puppet，Chef，Salt等工具，他们在远程命令执行的基础上对一些常见的运维操作进行了抽象，如节点分组、命令编排、状态管理等。 Salt正是其中年轻一员，它是一个使用Python和ZeroMQ开发的开源项目，使用Apache 2.0 License。Salt的主要功能有两个：1）配置管理，使节点处于所定义的状态，如指定web类节点apache包的状态为安装并运行；2）分布式的命令执行系统，一方面分发命令到节点执行，另一方面从节点收集所需的数据。 特点 （翻译自官方介绍 http://salt.readthedocs.org/en/latest/topics/index.html ） 1）简单 salt能适用于不同规模的部署

本文目录： LVS介绍与集群搭建 负载均衡（LVS）相关名词 在Web端的操作有什么含义 LVS集群的工作模式 IPVS调度器实现的八种负载调度算法 LVS+Keepalived方案实现 常见LVS负载均衡高可用解决方案 一、负载均衡介绍 1、负载均衡的妙用 负载均衡（Load Balance）集群提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的负载、带宽，增加吞吐量，加强网络数据处理能力，提高网络的灵活性和可用性。 单台计算机无法承受大规模的并发访问或数据流量了，此时需要搭建负载均衡集群把流量分摊到多台节点设备上分别处理，即减少用户等待响应的时间又提升了用户体验； 7*24小时的服务保证，任意一个或多个有限后端节点设备宕机，不能影响整个业务的运行。 2、为什么要用LVS 工作在网络模型的7层，可以针对http应用做一些分流的策略，比如针对域名、目录结构，Nginx单凭这点可利用的场合就远多于LVS了。 最新版本的Nginx也支持4层TCP负载，曾经这是LVS比Nginx好的地方。 Nginx对网络稳定性的依赖非常小，理论上能ping通就就能进行负载功能，这个也是它的优势之一，相反LVS对网络稳定性依赖比较大。 Nginx安装和配置比较简单，测试起来比较方便，它基本能把错误用日志打印出来。LVS的配置、测试就要花比较长的时间了，LVS对网络依赖比较大。

1、为什么要使用消息队列? 主要有三个原因: 解耦、异步、削峰 (1)解耦 传统模式: 传统模式的 缺点 ： 系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！ 中间件模式: 中间件模式的的 优点 ： 将消息写入消息队列，需要消息的系统自己从消息队列中订阅，从而系统A不需要做任何修改。 (2)异步 传统模式: 传统模式的 缺点 ： 一些非必要的业务逻辑以同步的方式运行，太耗费时间。 中间件模式: 中间件模式的的 优点 ： 将消息写入消息队列，非必要的业务逻辑以异步的方式运行，加快响应速度 (3)削峰 传统模式 传统模式的 缺点 ： 并发量大的时候，所有的请求直接怼到数据库，造成数据库连接异常 中间件模式: 中间件模式的的 优点 ： 系统A慢慢的按照数据库能处理的并发量，从消息队列中慢慢拉取消息。在生产中，这个短暂的高峰期积压是允许的。 2、使用了消息队列会有什么缺点? 分析 :一个使用了MQ的项目，如果连这个问题都没有考虑过，就把MQ引进去了，那就给自己的项目带来了风险。我们引入一个技术，要对这个技术的弊端有充分的认识，才能做好预防。 要记住，不要给公司挖坑！ 回答 :回答也很容易，从以下两个个角度来答 系统可用性降低 :你想啊，本来其他系统只要运行好好的，那你的系统就是正常的。现在你非要加个消息队列进去