集群服务器

solrcolud安装 solrCloud+tomcat+zookeeper部署 转载请出自出处： http://eksliang.iteye.com/blog/2107002 http://eksliang.iteye.com/ 概述： SolrCloud 是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。 它有几个特色功能： 1）集中式的配置信息 2）自动容错 3）近实时搜索 4）查询时自动负载均衡 安装zookeeper 上面也说了 SolrCloud 是基于Solr和Zookeeper的分布式搜索方案，所有要部署solrCloud+tomcat+zookeeper的集群，必须先安装zookeeper 安装环境： Liux: CentOS release 6.4 JDK:1.7.0_55 因为我研究的是solr最新的版本，所以研究的是solr4.8.0然后solr4.8.0必须跑在jdk1.7以上的版本 1、zookeeper是个什么玩意？ 答：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员， Apache Hbase和 Apache Solr 的分布式集群都用到了zookeeper；Zookeeper:是一个分布式的、开源的程序协调服务

首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。 Hadoop主要包含三个模块： HDFS模块：HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。 YARN模块：YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop中MapReduce里NameNode负载太大和其他问题而创建的一个框架。YARN是个通用框架，不止可以运行MapReduce，还可以运行Spark、Storm等其他计算框架。 MapReduce模块：MapReduce是一个计算框架，它给出了一种数据处理的方式，即通过Map阶段、Reduce阶段来分布式地流式处理数据。它只适用于大数据的离线处理，对实时性要求很高的应用不适用。多相关信息可以参考博客： 初识HDFS（10分钟了解HDFS、NameNode和DataNode） 。

51.1、kubernetes介绍： 1、什么是kubernetes： （1）Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 （2）使用Kubernetes可以： 1）自动化容器的部署和复制 2）随时扩展或收缩容器规模 3）将容器组织成组，并且提供容器间的负载均衡 4）很容易地升级应用程序容器的新版本 5）节省资源，优化硬件资源的使用 6）提供容器弹性，如果容器失效就替换它 2、kubernetes的特点： （1）便携性：支持公有云、私有云、混合云、多重云(multi-cloud) （2）可扩展：模块化、插件化、可组合、可挂载 （3）自修复：自动部署，自动重启，自动复制，自动伸缩扩展 3、kubernetes特性： Kubernetes是一种用于在一组主机上运行和协同容器化应用程序的系统，旨在提供可预测性、可扩展性与高可用的性的方法来完全管理容器化应用程序和服务的生命周期的平台。 （1）自动装箱：构建于容器之上，基于资源依赖及其他约束自动完成容器部署且不影响其可用性，并通过调度机制混合关键型应用和非关键型应用的工作负载于同一节点以提升 资源利用率。 （2）自我修复：支持容器故障后自动重启、节点故障后重行调度容器，以及其他可用节点、健康状态检查失败后关闭容器并重新创建等自我修复机制。 （3）水平扩展

> 1、hadoop-env.sh配置 export JAVA_HOME=(jdk安装地址) > 2、hdfs-site.xml配置文件 <此新名称服务的逻辑名称> <property> <name> dfs.nameservices </ name> <value> mycluster </ value> </property> <名称服务中每个NameNode的唯一标识符> <property> <name> dfs.ha.namenodes.mycluster </ name> <value>master，slave1</ value> </ property> <namenode的rpc服务器的监听地址> <property> <name> dfs.namenode.rpc-address.mycluster.master </ name> <value> master:50070 </ value> </ property> <property> <name> dfs.namenode.rpc-address.mycluster.slave1 </ name> <value> slave1:50070 </ value> </ property> <每个NameNode监听的标准HTTP地址> <property> <name> dfs.namenode.http

概要 当redis集群的主节点故障时，Sentinel集群将从剩余的从节点中选举一个新的主节点，有以下步骤： 故障节点主观下线 故障节点客观下线 Sentinel集群选举Leader Sentinel Leader决定新主节点 选举过程 1、主观下线 Sentinel集群的每一个Sentinel节点会定时对redis集群的所有节点发心跳包检测节点是否正常。如果一个节点在down-after-milliseconds时间内没有回复Sentinel节点的心跳包，则该redis节点被该Sentinel节点主观下线。 2、客观下线 当节点被一个Sentinel节点记为主观下线时，并不意味着该节点肯定故障了，还需要Sentinel集群的其他Sentinel节点共同判断为主观下线才行。 该Sentinel节点会询问其他Sentinel节点，如果Sentinel集群中超过quorum数量的Sentinel节点认为该redis节点主观下线，则该redis客观下线。 如果客观下线的redis节点是从节点或者是Sentinel节点，则操作到此为止，没有后续的操作了；如果客观下线的redis节点为主节点，则开始故障转移，从从节点中选举一个节点升级为主节点。 3、Sentinel集群选举Leader 如果需要从redis集群选举一个节点为主节点

问题: redis集群创建执行 ./redis-trib.rb create --replicas 1 XXXX:PORT1 XXXX:PORT2 .... 的时候一直等待 Waiting for the cluster to join 很久都没有反应 原因: redis集群不仅需要开通redis客户端连接的端口，而且需要开通集群总线端口 集群总线端口为redis客户端连接的端口 + 10000 如redis端口为6379 则集群总线端口为16379 故，所有服务器的点需要开通redis的客户端连接端口和集群总线端口 注意：iptables 放开，如果有安全组，也要放开这两个端口 防火墙开放端口命令 firewall-cmd --add-port=16379/tcp --permanent 参考文献：https://blog.csdn.net/truong/article/details/52531103 来源： https://www.cnblogs.com/wps54213/p/12571226.html

Redis事务 redis中的事务是一组命令的集合，事务中的命令要么全部执行，要么都不执行，Redis 通过 MULTI 、DISCARD 、EXEC 和 WATCH 四个命令来实现事务功能，multi表示事物的开启，exec表示事物的执行，exec执行后返回事务执行的结果，discard表示放弃事务执行，清空事务队列中已有的所有命令并退出队列，watch用于监视给定的键，如果键被其他客户端修改，将不会执行事务。 127.0.0.1:6379> multi OK 127.0.0.1:6379> set key 1 QUEUED 127.0.0.1:6379> get key QUEUED 127.0.0.1:6379> exec 1) OK 2) "1" 127.0.0.1:6379> multi OK 127.0.0.1:6379> set key1 1 QUEUED 127.0.0.1:6379> discard OK 127.0.0.1:6379> get key1 (nil) 这里我在另一个客户端修改了被监视的key，导致在这个客户端事务没有执行 127.0.0.1:6379> set key 1 OK 127.0.0.1:6379> watch key OK 127.0.0.1:6379> multi OK 127.0.0.1:6379> incr key QUEUED

3 月，跳不动了？>>> 在上一篇「 MySQL高可用复制管理工具 —— Orchestrator介绍 」中大致介绍了 Orchestrator 的功能、配置和部署，当然最详细的说明可以查阅 官方文档 。本文开始对 Orchestrator 的各方面进行测试和说明。 测试说明 环境介绍 服务器环境： 三台服务器 1 ：MySQL实例 （3306是orch的后端数据库，3307是MySQL主从架构「开启 GTID 」） Master ： 192.168 . 163.131 : 3307 Slave ： 192.168 . 163.132 : 3307 Slave ： 192.168 . 163.133 : 3307 2 ：hosts （etc/ hosts）： 192.168 . 163.131 test1 192.168 . 163.132 test2 192.168 . 163.133 test3 这里需要注意的是，orch检测主库宕机依赖从库的IO线程（本身连不上主库后，还会通过从库再去检测主库是否异常），所以默认change搭建的主从感知主库宕机的等待时间过长，需要 需要稍微改下： change master to master_host= ' 192.168.163.131 ' ,master_port= 3307 ,master_user= ' rep ' ,master

MySQL主从复制 本节内容我们联系使用 MySQL的主从复制功能配置Master和Slave节点，验证数据MySQL的数据同步功能。 因为要使用多个 MySQL数据库，所以不建议在电脑上安装多个MySQL数据库，最好的办法是使用多个绿色版的MySQL数据库。 MariaDB数据库是MySQL创始人Michael 创建的 MySQL重要分支。由于Oracle 持有了 MySQL的版权，MySQL存在闭源的隐患，加之Oracle对MySQL的更新不太重视，所以业界许多公司纷纷采用了完全开源的MariaDB数据库。MariaDB建立在MySQL5.5版本上，所以MariaDB与MySQL的兼容性非常好，并且性能上也做出了很大的优化，社区活跃，软件版本更新迅速，包括谷歌、Facebook等企业纷纷改用MariaDB数据库。 Master数据库 首先把安装到C:\Program Files 里面的 MariaDB目录复制一份，放置的路径没有要求，但是尽量把数据库放在C盘或者D盘上面，改名DB1。因为这两个盘符的空间处在硬盘磁碟的外圈，所以线速度很快，数据读写速度也很理想。 DB1将要当做主库使用，创建my.ini文件，然后编辑文件内容。 [mysqld] # 数据库字符集 character_set_server = utf8 #MySQL 主机名 ( 只可以是数字 ) server_id

Kafka【第一篇】Kafka集群搭建 Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 3、Kafka和其他主流分布式消息系统的对比 定义解释： 1、Java 和 scala都是运行在JVM上的语言。 2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing