集群

配前准备 一. 安装环境：Ubuntu 14.04 ---------一共三台机器 其中一台namenode＋jobtracker (master) , 两台 datanode + tasktracker(hadoop, salve1) 下表为各个机器的具体内容 ip username/password hostname 10.60.38.165 hadoop/123456 hadoop 10.60.38.166 hadoop/123456 master 10.60.38.155 hadoop/123456 salve1 (......居然拼错了，我靠） 在每台机器的/etc/hosts 下面 添加 10.60.38.165 hadoop 10.60.38.166 master 10.60.38.155 salve1 使得各台机器相互之间可以ping通(通过hostname可以ping） （ps: /etc/hosts 里面的数据全部清空，只留上面的三个 以及第一项: 127.0.0.1 localhost ) 二. SSH 无密码验证配置 1.因为大部分Linux里面默认已经安装好了ssh，我在安装时已经默认安装好，但是ssh service 没有安装，使用 sudo apt-get install openssh-server 来 安装 ssh service。（确保

目前 Docker 的使用越来越离不开对容器的监控，阿里云最近上线了容器服务，不但提供了核心的容器和宿主机监控能力，而且支持集成 Cloud Insight 监控,下面会介绍如何集成。 首先介绍一下阿里云的容器监控。阿里云容器服务在用户创建集群的时候就默认开启了几个容器服务，其中就包括一个容器监控服务，其监控大概就是使用这个服务来采集数据的。 容器监控的对象就是各个正在跑的容器本身的运行状况，而如果你想要监控在容器里面运行的服务的状况呢？这时候 Cloud Insight 就可以帮到你了。 那么我们先来创建一个 mysql 的容器，选定镜像/创建应用/使用镜像创建，应用名字为some-mysql(这个后面会用到), 设置mysql的密码，这里配置了MYSQL_ALLOW_EMPTY_PASSWORD=yes, 然后点击创建并部署，几秒后，一个mysql容器就跑起来了。我们来看看阿里云的容器服务对mysql容器的监控： cpu,内存，网络，io这些指标都有了。 接下来来让Cloudinsight把mysql监控了。 第一步，使用编排模板创建一个模板，这里使用模板来创建是因为要用到docker-compose的external_links命令来link在运行的mysql容器： cloudinsight: image: 'oneapm/docker-oneapm-ci-agent

一、准备 下载Jboss 5.1.0, 配置JBOSS_HOME, JAVA_HOME环境变量,并把$JBOSS_HOME/bin添加到PATH环境变量中。本文要在两台服务器——IP分别为10.123.76.103和10.123.76.104——上部署两台Jboss应用服务器。 此外在第三台服务器上安装Apache 2.2服务器，并配置环境变量APACHE_HOME 二、配置 1) 复制依赖包和建立相关目录 cp jboss-5.1.0.GA/server/all/lib/hibernate-jbosscache2.jar $JBOSS_HOME/server/default/lib/ cp jboss-5.1.0.GA/server/all/lib/jbosscache-core.jar $JBOSS_HOME/server/default/lib/ cp jboss-5.1.0.GA/server/all/lib/jbosscache-pojo.jar $JBOSS_HOME/server/default/lib/ cp jboss-5.1.0.GA/server/all/lib/jgroups.jar $JBOSS_HOME/server/default/lib/ cp jboss-5.1.0.GA/server/all/lib/avalon-framework.jar

第1章 引言 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台 机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读取 （Read）数据的速度和并发量。目前国内的大型互联网应用中，大量的采用了这样的数据切分方案，Taobao,Alibaba,Tencent，它们大 都实现了自己的分布式数据访问层（DDAL）。以实现方式和实现的层次来划分，大概分为两个层次（Java应用为例）：JDBC层的封装，ORM框架层的 实现。就JDBC层的直接封装而言，现在国内发展较好的一个项目是被称作“变形虫”(Amoeba)的项目，由阿里集团的研究院开发，现在仍然处于测试阶 段（beta版），其运行效率和生产时效性有待考究。就ORM框架层的实现而言，比如Taobao的基于ibatis和Spring的的分布式数据访问 层，已有多年的应用，运行效率和生产实效性得到了开发人员和用户的肯定

Hadoop 支持好几种压缩算法，包括： Bzip2 Gzip DEFLATE Hadoo p 提供这些算法的 Java 实现，所以可以很方便的通过 FileSystem API 来进行文件的压缩和解压缩。这些压缩算法都有一个缺陷，那就是文件不能被分片 (splittable) 。这就意味着采用这些算法进行压缩的文件需要读取整个文件才能将文件解压缩。这对 MapReduce 会产生致命的影响，因为这意味着一个压缩文件必须由一个 map 来处理。这也正是 LZO 优越之处， LZO 压缩的文件是可分片的（这要感谢 Hadoop 社区的不懈努力）。 LZO 的安装与配置步骤如下： 1.从 https://github.com/kevinweil/hadoop-lzo 下载 Hadoop-LZO （注意 Hadoop-LZO 有两个版本，分别由 Cloudera 和 Twitter 维护），一般建议采用 Twitter 版本。 2.安装 lzo 和 lzo-devel 包。在联网情况下可以非常方便的进行安装。 在 Red Hat 下通过下面的命令： #yum install liblzo-devel 在 Ubuntu 下通过下面的命令： #apt-get install liblzo2-devel 如果是在断网的情况下可以到网站 http://www.oberhumer.com

第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法链接）。 下载地址: http://apache.claz.org/hadoop/common/hadoop-2.2.0/ 如下图所示，下载红色标记部分即可。如果要自行编译则下载src.tar.gz. 第二部分 集群环境搭建 1、这里我们搭建一个由三台机器组成的集群： 192.168.0.1 hduser/passwd cloud001 nn/snn/rm CentOS6 64bit 192.168.0.2 hduser/passwd cloud002 dn/nm Ubuntu13.04 32bit 192.168.0.3 hduser/passwd cloud003 dn/nm Ubuntu13.0432bit 1.1 上面各列分别为IP、user/passwd、hostname、在cluster中充当的角色（namenode, secondary namenode, datanode , resourcemanager, nodemanager） 1.2 Hostname可以在/etc/hostname中修改

集群分为横向集群和纵向集群（纵向意思就是在一台服务器上 横向就是多台服务器 就这么个意思） 一、软件版本 nginx-0.7.65 apache-tomcat-6.0.26 jdk-6u20-linux-i586-rpm.bin memcached-1.4.0.tar.gz 二、结构图 三、内容服务器 所有的代码都存放在内容服务器上，内容服务器提供文件共享，集群机通过cifs方式映射为web目录，这样便于统一管理和即时同步。 集群机对内容的共享详见三.3。 四、集群机的配置 1、Java环境安装（3台集群机都安装） 从java网站上下载jdk-6u20-linux-i586-rpm.bin，然后安装（默认安装在/usr/java/jdk1.6.0_20）： ./jdk-6u20-linux-i586-rpm.bin 然后编辑profile文件： vi /etc/profile 加入以下内容： export JAVA_HOME=/usr/java/jdk1.6.0_20 export JAVA_BIN=/usr/java/jdk1.6.0_20/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:

hadoop2.2.0集群搭建 PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的， 因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装 hadoop-2.2.0就需要重新在64操作系统上重新编译 1.准备工作:(参考伪分布式搭建) 1.1修改Linux主机名 1.2修改IP 1.3修改主机名和IP的映射关系 1.4关闭防火墙 1.5ssh免登陆 1.6.安装JDK，配置环境变量等 2.集群规划： PS： 在hadoop2.0中通常由两个NameNode组成，一个处于active状态， 另一个处于standby状态。Active NameNode对外提供服务， 而Standby NameNode则不对外提供服务，仅同步active namenode 的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS， 另一种是QJM。这里我们使用简单的QJM。在该方案中， 主备NameNode之间通过一组JournalNode同步元数据信息， 一条数据只要成功写入多数JournalNode即认为写入成功。 通常配置奇数个JournalNode 这里还配置了一个zookeeper集群，用于ZKFC （DFSZKFailoverController）故障转移，当Active NameNode挂

本文第一篇主要介绍redis在windows平台下的编译。 一、下载cygwin cygwin是windows平台上的posix系统模拟环境，具体的版本，请根据自己当前系统的版本来，我的系统是windows7 64位。 点击下载最新的 : setup-x86_64.exe cygwin官网: http://www.cygwin.com/ 二、下载最新版redis redis的版本根据自己的需求来，因为我们要搭建集群，所以下载 3.0.0beta版 三、安装cygwin cygwin的安装网上有不少图解（猛击: 图解教程 ），直接下一步就好，需要主要的一点是注意选择好自己需要的包，如下图: 你会看到Dvel下有许多入库，其中只需要安装5个就够： gcc: C complier upgrade helper gcc-core：C 编译器 gcc-g++： C++ 编译器 gdb：GNU 调试器 make："make" 实用程序的 GNU 版本 具体如何安装，自己百度脑补，不多说了，这个安装时间较长，可以干点其他的了。 四、检查编译环境 $ gcc -v 使用内建 specs。 COLLECT_GCC=gcc COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-pc-cygwin/4.8.3/lto-wrapper.exe 目标：x86_64-pc

自从activemq5.9.0开始，activemq的集群实现方式取消了传统的Master-Slave方式，增加了基于zookeeper+leveldb的实现方式，其他两种方式：目录共享和数据库共享依然存在。本文主要阐述基于zookeeper和leveldb搭建activemq集群，这里需要特别提醒，本文实现的集群仅提供主备功能，避免单点故障，没有负载均衡功能。 下面开始我们的征途。 一、搭建zookeeper集群 关于搭建zookeeper集群的文章请参考： zookeeper的集群模式下的安装和配置 。 本文使用zookeeper3.4.6，3台虚拟机：192.168.2.161, 192.168.2.145, 192.168.2.146，zookeeper使用其默认端口：2181。 zookeeper集群搭建完成之后，我顺便搭建了两套监控系统：taokeeper-monitor和node-zookeeper-browser。前者是淘宝开源的一套监控zookeeper的系统，用了之后感觉得到的有效信息不多，而且集群趋势图总是不显示；后者是用nodejs实现的zookeeper节点数据查看系统，虽然页面不太美观，但是实用。 图 1. taokeeper-monitor界面 图 2. node-zookeeper-browser界面 二、搭建activemq集群 1、安装