Apache HBase

Hbase 简介 Hbase: Hadoop Database Hbase是非关系型数据库，随着现在互联网的数据量越来越多，需求更加多元化，传统的关系型数据库无法满足实际的业务需求，NoSql类型数据库孕育而生。 传统RDBMS缺陷： 对单机性能的要求比较高，当存储海量数据时，单机的性能可能达到顶峰仍然不能满足业务需求 传统关系型数据库表的字段不能改变，对于一些个性化需求产生的非结构化数据，无法处理 传统关系型数据库的容量有限，将海量数据存储在一张表中，通过分库/hash一致性等方法对数据的存储和查询效率比较低 Nosql数据库： 可用于存储非结构化数据，同时采用分布式的设计基本可实现整个数据库容量的无限扩容，同时对单机的性能要求不高，基于Google的big table论文实现,HBase通过行键、列族、列实现表字段的无限扩展。 例如 address字段，可将address设定为一个列族，address:provice、address:city、address:area 3个列来表示不同的地域，北京可只用address:city、address：area两个列，广东可使用address:provice、address:city、address:area三个列，这样就可满足不同地域的所有要求，如果需要引入国家，直接添加一个新的列：address:country即可

分布式搭建 1：下载官网对应的hbase的版本 地址：http://archive.apache.org/dist/hbase/1.2.3/ 2：上传对应的版本到主节点并解压 3：配置hbase的环境变量 export HBASE_HOME=/home/hadoop/bd/hbase-1.2.3 export ZOOKEEPER_HOME=/home/hadoop/bd/zookeeper-3.4.8 4：配置hbase下面的conf目录下的hbase-env.sh文件 主要修改三个地方： 1）JAVA_HOME export JAVA_HOME=/home/hadoop/bd/jdk1.8.0_144 2) HBASE_CLASSPATH export HBASE_CLASSPATH=/home/hadoop/bd/hadoop-2.7.3/etc/hadoop 3) 取消hbase自带的zk服务，改用自己的zk集群 export HBASE_MANAGES_ZK=false 5：配置hbase-site.xml <configuration> <property><!--hbase在HDFS上面的存储路径--> <name>hbase.rootdir</name> <value>hdfs://hm02:9000/hbase</value> </property>

环境信息 完全分布式集群（一）集群基础环境及zookeeper-3.4.10安装部署 hadoop集群安装配置过程 安装hive前需要先部署hadoop集群 完全分布式集群（二）hadoop2.6.5安装部署 Hbase集群安装部署 下载hbase-1.2.6.1-bin.tar.gz并通过FTP工具上传至服务器，解压 [root@node222 ~]# ls /home/hadoop/hbase-1.2.6.1-bin.tar.gz /home/hadoop/hbase-1.2.6.1-bin.tar.gz [root@node222 ~]# gtar -zxf /home/hadoop/hbase-1.2.6.1-bin.tar.gz -C /usr/local/ [root@node222 ~]# ls /usr/local/hbase-1.2.6.1/ bin CHANGES.txt conf docs hbase-webapps LEGAL lib LICENSE.txt NOTICE.txt README.txt 配置Hbase 1、配置hbase-env.sh # 去掉对应环境变量前的注释符号“#”，根据服务器环境情况修改JAVA_HOME信息 export JAVA_HOME=/usr/local/jdk1.8.0_66 # 关闭hbase内置zookeeper

李钰(社区ID：Yu Li)，阿里巴巴计算平台事业部高级技术专家，HBase开源社区PMC&committer。开源技术爱好者，主要关注分布式系统设计、大数据基础平台建设等领域。连续4年基于HBase/HDFS设计和开发存储系统应对双十一访问压力，具备丰富的大规模集群生产实战经验 摘要 性能优化 针对IO的性能优化 不同版本值得注意的性能问题/优化  监控和问题排查 Important metrics Logs and debugging 针对IO的性能优化 不同版本值得注意的性能问题 问题排查： 重要的监控指标 问题排查： Server端日志 问题排查：Client端日志 To Be Continued 大家工作学习遇到HBase技术问题，把问题发布到HBase技术社区论坛http://hbase.group ，欢迎大家论坛上面提问留言讨论。想了解更多HBase技术关注HBase技术社区公众号(微信号:hbasegroup)，非常欢迎大家积极投稿。 长按下面的二维码加入HBase技术社区微信群 来源： oschina 链接： https://my.oschina.net/u/3791723/blog/1861689

为什么需要分库分表？ 互联网电商系统创业初期，一般都会采用mysql数据库，可以简单、快速、可靠的实现业务需求。但随着业务的快速发展，数据量越来越多，单个库和单个表就会达到瓶颈，这时候就需要分库分表。分库分表包括分库和分表两个部分，主要有垂直分表、垂直分库、水平分表、水平分库四种方式。 垂直分表 将一个表按照字段分成多表，每个表存储其中一部分字段。 通常我们按以下原则进行垂直拆分: 1. 把不常用的字段单独放在一张表; 2. 把text，blob等大字段拆分出来放在附表中; 3. 经常组合查询的列放在一张表中; 比如下面的商品信息拆成了spu和spu_detail两张表，将大字段description拆分到spu_detail表里。这样做的好处就是我查询spu这类信息的时候不会被商品描述的低效率所拖累。 CREATE TABLE `spu` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'spu id', `title` varchar(255) NOT NULL DEFAULT '' COMMENT '标题', `cid1` int(11) NOT NULL COMMENT '1级类目id', `cid2` int(11) NOT NULL COMMENT '2级类目id', `cid3` int(11) NOT NULL

这是在前一篇 Hadoop 3.1.1高可用(HA)集群安装笔记 基础上，进行的操作. 安装HBase mkdir -p /opt/hbase tar -xf hbase-2.1.0-bin.tar.gz cd hbase-2.1.0 #添加环境变量 export HBASE_HOME=/opt/hbase/hbase-2.1.0 #修改使用集群中的zookeeper vim conf/hbase-env.sh export HBASE_MANAGES_ZK=false export HBASE_CLASSPATH=/opt/hadoop/hadoop-3.1.1/etc/hadoop export HBASE_LOG_DIR=/opt/data/logs/hbase mkdir -p /opt/data/logs/hbase cp /opt/hbase/hbase-2.1.0/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar /opt/hbase/hbase-2.1.0/lib/ vim conf/hbase-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- /**

最近写一个hbase的mapper生成hfile文件，但是在执行jar包时，总是报Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan错误，注释掉这个方法之后，又报其他的jar包找不到，似乎总是找不到hbase的相关包： 一开始执行命令： root @master1 lct]# hadoop jar testhfile.jar lct01 /out Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan at hbasetest.HfileCreate.main(HfileCreate.java:39) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke

说明：这种方式是为了快速体验或者数据量较小的情况，不适合数据量大的生产环境 环境准备： Centos7 Nutch2.2.1 JAVA1.8 ant1.9.14 hbase0.90.4 (单机版) solr7.7 相关下载地址： 链接: https://pan.baidu.com/s/1Tut2CcKoJ9-G-HBq8zexMQ 提取码: v75v 开始安装 默认安装好的jdk、ant（其实就是解压配置好环境变量不会的可以百度一下） 安装hbase单机版 下载解压 wget http://archive.apache.org/dist/hbase/hbase-0.90.4/hbase-0.90.4.tar.gz tar zxf hbase-0.90.4.tar.gz # 或者直接使用我提供的软件包 配置 <configuration> <property> <name>hbase.rootdir</name> <value>/data/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/data/zookeeper</value> </property> </configuration> 说明：hbase

1 Sqoop 简介 Sqoop 是一款开源的工具，主要用于在 Hadoop 与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 2 Sqoop 原理 将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制 3 Sqoop 安装 1、解压 tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/ 2、重命名配置文件 mv sqoop-env-template.sh sqoop-env.sh 3、修改配置文件 vim sqoop-env.sh export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2 export HIVE_HOME=/opt/module/hive export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10 export ZOOCFGDIR=/opt/module/zookeeper-3.4.10 export

配置安装： 前提：Hadoop集群正常启动（ Hadoop2.7.7安装详细 ）、（MySQL在线安装详细）（Java）等 ， 安装包请自行下载上传并解压（下载地址： http://mirror.bit.edu.cn/apache/hive/ ）。 1 ) 用 Xftp 将桌面的 Hbase 压缩包传到 master 电脑上 2 ) 解压 Hbase ，输入命令： tar -vzxf hbase-1.2.11-bin.tar.gz 3 ) 解压后托到 niit 文件夹下 4 ) 修改配置 输入以下命令： cd /root/niit/hbase-1.2.11/conf 找到 hbase-site.xml 、 hbase-env.sh 、 regionservers 文件并用 Xftp 托到桌面 1. 在 regionservers 文件夹中编写以下代码 master slave1 slave2 2. 在 hbase-site.xml 文件内添加以下代码： <property> <name>hbase.tmp.dir</name> <value>/var/hbase</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property>