phoenix

1、启动Phoenix监听端口 #启动，端口:8765 [root@node1 ~]# /opt/phoenix-4.11.0/bin/queryserver.py start starting Query Server, logging to /tmp/phoenix/root-queryserver.log [root@node1 ~]# netstat -ntlp |grep 8765 tcp6 0 0 :::8765 :::* LISTEN 50094/java 2、phoenixdb 安装包 #phoenixdb包的版本要和phoenix对应，参考官网： https://python-phoenixdb.readthedocs.io/en/latest/versions.html#version-0-7 #我的Phoenix是4.11，所以要安装0.7版本 >pip3 install phoenixdb==0.7 python脚本： #!/usr/bin/env python # encoding: utf-8 """ @author: 'Administrator' @contact: @time: """ import phoenixdb import phoenixdb.cursor database_url = 'http://node1:8765/' conn

概述 Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。下载 apache-phoenix-4.10.0-HBase-1.2-bin.tar.gz ,注意下载的Phoenix版本必须和hbase目标版本保持一致。更多版本 http://archive.apache.org/dist/phoenix 安装 安装好HDFS，并且保证HDFS正常运行 必须配置HADOOP_HOME，因为HBase需要通过该变量定位HADOOP服务 安装Zookeeper（存储集群的元数据信息HMaster和HRegionServer） [ root@CentOS ~ ] # tar -zxf zookeeper-3.4.6.tar.gz -C /usr/ [ root@CentOS ~ ] # mkdir zkdata [ root@CentOS ~ ] # touch /usr/zookeeper-3.4.6/conf/zoo.cfg [ root@CentOS ~ ] # vi /usr/zookeeper-3.4.6

1.概述 　　在《 Hadoop－Drill深度剖析 》一文当中，给大家介绍了Drill的相关内容，就实时查询来说，Drill基本能够满足要求，同时还可以做一个简单业务上的聚合，如果在使用Hive做一些简单的业务统计（不涉及多维度，比如CUBE，ROLLUP之类的函数），只是用一些基本的聚合函数或是JOIN ON之类的，Drill基本满足要求，而且响应速度可比OLTP。今天给大家剖析的是另外一种工具，由于目前Drill官方不支持对表的插入，更新操作。所以，在操作HBase的时候，若遇到这些需求，Drill就有点力不从心。那么，Phoenix可以满足以上需求。它更接近与标准的SQL。 2.Architecture 　　在Phoenix中SQL Query Plan的执行，基本上是通过构建一系列的HBase Scan来完成。为了尽可能减少数据的传输，在Region Server使用Coprocessor来尽可能的执行Aggregate相关的工作，基本实现的思路是使用RegionObserver在PostScannerOpen Hook中将RegionScanner替换成支持Aggregation工作的定制化的Scanner，具体的Aggregate操作通过Custom的Scan属性传递给RegionScanner。然与基于MapReduce的框架执行Plan的思想比较

Phoenix 集成HBase Phoenix 版本：phoenix-4.6.0-HBase-1.0 源码下载地址： http://apache.cs.uu.nl/phoenix/phoenix-4.6.0-HBase-1.0/src/phoenix-4.6.0-HBase-1.0-src.tar.gz 应用下载地址： http://apache.cs.uu.nl/phoenix/phoenix-4.6.0-HBase-1.0/bin/phoenix-4.6.0-HBase-1.0-bin.tar.gz HBase 版本：1.0.0-cdh5.4.7 JDK 版本：1.7.0_45 Phoenix 编译 1、下载源码： 下载源码解压后需要修改文件有pom.xml、LocalIndexMerger.java、 IndexSplitTransaction.java 。 1.1、Pom.xml位于phoenix-4.6.0-HBase-1.0-src 下 1.2、 LocalIndexMerger.java位于phoenix-4.5.0-HBase-1.0-src/phoenix-core/src/main/java/org/apache/hadoop/hbase/regionserver 1.3、 IndexSplitTransaction.java 位于 phoenix-4.5

环境描述 ： 操作系统版本：CentOS release 6.5 (Final) 内核版本：2.6.32-431.el6.x86_64 phoenix版本：phoenix-4.10.0 hbase版本：hbase-1.2.6 hbase节点分布：1个HMaster，2个RegionServer 文档目的 ： 通过在phoenix客户端连接hbase数据库，在phoenix中创建二级索引。 配置过程 ： 1.登录到RegionSever节点，修改hbase-site.xml配置文件，加入如下配置 <property> <name>phoenix.query.maxServerCacheBytes</name> <value>2097152000</value> </property> <property> <name>hbase.regionserver.wal.codec</name> <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value> </property> <property> <name>hbase.region.server.rpc.scheduler.factory.class</name> <value>org.apache.hadoop.hbase.ipc

http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html Blah, blah, blah - I just want to get started! Ok, great! Just follow our install instructions : //下载然后解压 download and expand our installation tar 复制phoenix-4.9.0-HBase-1.2-server.jar 到region server所在节点的hbase/lib目录下,如果配置了backup-master name master节点也要复制一份. copy the phoenix server jar that is compatible with your HBase installation into the lib directory of every region server 重启 region servers,或者三台都重启 restart the region servers //暂时没有做,sqlline.py mini1:2181 (zk) 如果连上了就成功了 add the phoenix client jar to the classpath of your HBase

DBeaver链接kerberos安全认证的Phoenix集群 最近公司的CDH集群，启动了kerberos安全认证，所有的用户验证全部需要依赖kerberos来进行。之前的裸奔集群，总算有了一些安全认证的功能，虽然网上很多人都说不推荐使用kerberos进行集群的安全认证，但是也没有说明使用哪种安全认证的方式会更好，目前比较现成的安全认证方式也只知道kerberos。 使用kerberos认证之后，原本的Phoenix sqlline可以在存有kerberos缓存票据的机器上直接运行，链接方式，启动命令等，都和没有启动kerberos之前一样。只需要执行klist命令，能够显示kerberos主体信息即可。但是使用Windows进行远程链接Phoenix时出现了问题。首先Windows上没有kerberos客户端，不能直接缓存票据。其次，如果使用kinit命令进行链接的话，必须知道kerberos中的主体密码，而CDH的kerberos主体是CM自主生成的，我们也不知道密码。所以我们只能使用kertab的形式进行链接。 明确了使用keytab的形式进行链接，我们首先尝试了Linux sqlline的形式链接，测试完全没有问题，使用一切正常。但是使用Windows的DBeaver远程链接时要怎么做呢？ 百度搜索了一下

错误： org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:144) at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDataCoprocessorExec(ConnectionQueryServicesImpl.java:1379) at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDataCoprocessorExec(ConnectionQueryServicesImpl.java:1343) at org.apache.phoenix.query.ConnectionQueryServicesImpl.getTable(ConnectionQueryServicesImpl.java:1560) at org.apache.phoenix.schema.MetaDataClient.updateCache(MetaDataClient.java:643) at org.apache.phoenix.schema