Hadoop

全球最厉害的14位程序员是谁，您知道的有几位呢？ 以下排名不分先后： 1. Jon Skeet 个人名望： 程序技术问答网站Stack Overflow总排名第一的大神，每月的问答量保持在425个左右。 个人简介/主要荣誉： 谷歌软件工程师，代表作有《深入理解C#(C# In Depth)》。 网络上对Jon Skeet的评价： “他根本不需要调试器，只要他盯一下代码，错误之处自会原形毕露。” “如果他的代码没有通过编译的时候，编译器就会道歉。” “他根本不需要什么编程规范，他的代码就是编程规范。” 2. Gennady Korotkevich 个人声望： 编程大赛神童 个人简介/主要荣誉： 年仅11岁时便参加国际信息学奥林比克竞赛，创造了最年轻选手的记录。在2007-2012年间，总共取得6枚奥赛金牌；2013年美国计算机协会编程比赛冠军队成员；2014年Facebook黑客杯冠军得主。截止目前，稳居俄编程网站Codeforces声望第一的宝座，在TopCoder算法竞赛中暂列榜眼位置。 网络上对Gennady Korotkevich的评价： “一个编程神童。” “他太令人惊讶了，他相当于我在白俄罗斯建立了一支强大的编程队伍” “彻底的编程天才” 3. Linus Torvalds 个人名望： Linux之父 个人简介/主要荣誉： Linux和Git之父，一个开源的操作系统；

一、概述 Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。 二、安装部署 2.1 主机规划 | 序号 | IP地址 | 主机名 |系统版本| | -------- | -------- | -------- | | 1 | 172.20.2.222 | ambari-server |centos7.3 | 2 | 172.20.2.203 | hadoop-1 |centos7.3 | 3 | 172.20.2.204 | hadoop-2 |centos7.3 | 4 | 172.20.2.205 | hadoop-3 |centos7.3 2.2 部署 2.2.1 基础环境部署 a.修改主机名配置hosts systemctl stop firewalld hostnamectl set-hostname ambari-server #更改个主机名 sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config

HBase基本架构： RegionServer的作用 Data （某一行或者几行数据的操作）：get, put, delete （查、增、删，改是通过时间戳timestamp控制的） Region （相当于水平分表）: splitRegion（切分）, compactRegion（合并） Master的作用： Table：create, delete, alter RegionServer: 分配regions到每个RegionServer，监控每个RegionServer的状态。 注意：Mater挂掉的一段时间里面，对数据的增删改查，没问题；对表的操作，不能够了！ 也就是说Master其实管两件事情： 1）Master管理的DDL操作，不管DML的事情。 2）Master根据负载情况，决定把数据给哪个region（region XXX），即当前表给谁维护。 Master存在单点故障。所以需要高可用。 （Hadoop1.0不带高可用，Hadoop2.0可以高可用但是相对比较麻烦，Hadoop3.0自带高可用） RegionServer管理DML操作，直接和数据操作。 搭建HBase环境需要启动的清单： 1）Zookeeper 2）Master 3）RegionServer 4）HDFS Yarn可以不启动。因为这部分和Yarn没关系，Yarn是调度资源做计算的