CDH6.3.2 启用Kerberos 集成使用phoenix

标签（空格分隔）：大数据平台构建

一、下载并安装Phoenix parcel

二、安装CSD文件

三、在Cloudera Manager中添加Phoenix服务（前提是已经安装了HBase服务）

四、配置HBase以用于Phoenix

五、验证Phoenix安装与冒烟测试

六、导入数据验证测试

七、关于phoinex 的schema 与 hbase 的namespace 集成

一、下载并安装Phoenix parcel

下载地址
https://archive.cloudera.com/phoenix/6.2.0/parcels/

PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel    
PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha

https://archive.cloudera.com/phoenix/6.2.0/csd/
PHOENIX-1.0.jar

image.png-63kB

image.png-27.7kB

1. 登录Cloudera Manager，点“群集”->“Parcel”，进入Parcel页。
2. 点击“配置”，添加远程Phoenix Parcel URL，如图1所示，然后保存更改。

image.png-45.6kB

image.png-36.8kB

image.png-59.9kB

 4. 完成下载后，点击“分配”

image.png-46.6kB

image.png-38.1kB

 5. 分配完成后，点击“激活”

image.png-40.5kB

image.png-56.2kB

二、安装CSD文件

2.1 安装 phoenix

在CDH中添加Phoenix服务之前，必须安装Custom Service Descriptor（CSD）文件。

1. 确定CSD文件存放位置。
 登录Cloudera Manager，点“管理”->“设置”，点击“自定义服务描述符”，查看“本地描述符存储库路径”

 /opt/cloudera/csd 目录

 mv PHOENIX-1.0.jar /opt/cloudera/csd/

从新启动cloudera-scm-server 服务

systemctl restart cloudera-scm-server

image.png-46.8kB

image.png-33.5kB

登录Cloudera Manager，重启Cloudera Management Service服务

image.png-61.7kB

image.png-67kB

image.png-95.4kB

需要从新启动hbase

image.png-65.1kB

image.png-46kB

image.png-42.1kB

image.png-49.7kB

image.png-137kB

三：在Cloudera Manager中添加Phoenix服务

image.png-63.7kB

image.png-64.8kB

image.png-45.6kB

image.png-56kB

image.png-47kB

image.png-62.3kB

四、配置HBase以用于Phoenix

1. 添加属性
 选择“Hbase”->“配置”，搜索“hbase-site.xml 的 HBase 服务高级配置代码段”，单击“以XML格式查看”，并添加以下属性：

<property>
<name>hbase.regionserver.wal.codec</name>
<value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property> 

<property>
 <name>phoenix.functions.allowUserDefinedFunctions</name>
 <value>true</value>
 <description>enable UDF functions</description>
</property>

 将hbase.regionserver.wal.codec定义写入预写日志（“wal”）编码。
设置phoenix.functions.allowUserDefinedFunctions属性启用用户自定义函数（UDF）。
 重启Hbase服务

image.png-113.4kB

image.png-60.8kB

image.png-65.9kB

image.png-59.4kB

登录 phoinex
使用kerberos 的 hbase 账号登录
kadmin.local

xst -kt /root/hbase.keytab -norandkey hbase/dev01.lanxintec.cn@LANXIN.COM

kinit -kt hbase.keytab hbase/dev01.lanxintec.cn@LANXIN.COM

klist

如果hbase的 keytab 文件过期 就 从新生成

image.png-59.9kB

image.png-11.4kB

image.png-107.5kB

五：冒烟测试

登录集群主机，并在命令提示符下运行以下冒烟测试：

phoenix-psql /opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/examples/WEB_STAT.sql /opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/examples/WEB_STAT.csv /opt/cloudera/parcels/PHOENIX-5.0.0-cdh6.2.0.p0.1308267/lib/phoenix/examples/WEB_STAT_QUERIES.sql

image.png-93.3kB

六. 导入数据验证测试

导入测试用户md5电话测试
vim user_md5_phone.txt 
---
1312259769,440000,13113962870,6c4c8e6d1b8a352dbed4adccdbd0916b,2d18e767f4dd0a6b965f98e66146dcf3c57a92a59ed82bee58230e2ce29fd18e,7O3dO7OGm3oz+19WWHDyij9yA==

1312259770,440000,13113960649,869f01556dac3c9c594e79f27956a279,9f51d68d8dd6121cbb993f9a630db0356b599a5cdf51c1b23897245cf6e01798,b/S8Gb/JOSaHwa/Tc+6X60bfw==

1312259771,440000,13113960246,047c7ea330311966ca5e9ea47ad39d45,c643a9299090a751a5ec7994906bc02e4514ae881e61c9432dcae1292bb83c98,1Ivlz1IZEvBypRDfzWJ4gP+7w==

1312259772,440000,13113969966,c822d280828a99b8de813501d931f2bc,c06fadd37b332224deed002cbddc76bfea336450785de8a9ca07de8b88a51dc5,ubOOQub8OOnyh+fQ528AdpOkg==

1312259773,440000,13113969454,d58f7356ae473a7c24f880e4ae080121,746ec2332c0bc48c883deebb5c84e69b3e7293148be0ae9f0d9b2d82ea00bbb0,l3L2Xl3CvL23XhBlYuA/wnsGg==
---

数据字段介绍

 字段  字段解释
ID    
REGION_CODE  地区编码
PHONE_NUMBER  电话号码
MD5_PHONE_NUMBER  电话号码md5加密
SHA256_PHONE_NUMBER  电话号码sha256加密
AES_PHONE_NUMBER  电话号码aes加密

   这边以 ID 作为hbase 的rowkey

登录hbase 

create 'ODS_USER.PHONE_NUMBER','INFO'

list

image.png-43.8kB

2、在phoenix中建立相同表以实现与hbase表的映射

登录phoinex
!ph

create table ODS_USER.PHONE_NUMBER(ID varchar primary key, INFO.REGION_CODE varchar, INFO.PHONE_NUMBER varchar, INFO.MD5_PHONE_NUMBER varchar, INFO.SHA256_PHONE_NUMBER varchar, INFO.AES_PHONE_NUMBER varchar) column_encoded_bytes=0;

image.png-72.6kB

将要导入数据上传的hdfs

hdfs dfs -mkdir /tmp/hbase
hdfs dfs -mkdir /tmp/hfile

hdfs dfs -chmod 777 /tmp/hbase 
hdfs dfs -chmod 777 /tmp/hfile

hdfs dfs -put user_md5_phone.txt

image.png-37kB

image.png-12.9kB

3、生成HFILE文件
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,INFO:REGION_CODE,INFO:PHONE_NUMBER,INFO:MD5_PHONE_NUMBER,INFO:SHA256_PHONE_NUMBER,INFO:AES_PHONE_NUMBER -Dimporttsv.separator=, -Dimporttsv.bulk.output=/tmp/hfile/user_md5_phone ODS_USER.PHONE_NUMBER /tmp/hbase/user_md5_phone.txt

image.png-126.2kB

image.png-178.7kB

image.png-81.4kB

image.png-55.3kB

4、加载HFILE文件到HBASE
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/hfile/user_md5_phone ODS_USER.PHONE_NUMBER

image.png-173.2kB

查看验证：

hbase shell

list 

scan 'ODS_USER.PHONE_NUMBER'

image.png-133.4kB

image.png-145kB

!ph

!table

select * from ODS_USER.PHONE_NUMBER;

image.png-98.9kB

image.png-112.7kB

七：关于phoinex 的schema 与 hbase 的namespace 集成

选择“Hbase”->“配置”，搜索“hbase-site.xml 的 HBase 服务高级配置代码段”，单击“以XML格式查看”，并添加以下属性：

选择“Hbase”->“配置”，搜索“hbase-site.xml 的 HBase 客户端高级配置代码段”，单击“以XML格式查看”，并添加以下属性：

<property>
<name>phoenix.schema.isNamespaceMappingEnabled</name>
<value>true</value>
<description>Enables mapping of tables of a Phoenix schema to a non-default HBase namespace. To enable mapping of a schema to a non-default namespace, set the value of this property to true. The default setting for this property is false.</description>
</property>

<property>
<name>phoenix.schema.mapSystemTablesToNamespace</name>
<value>true</value>
<description>With true setting (default): After namespace mapping is enabled with the other property, all system tables, if any, are migrated to a namespace called system.With false setting: System tables are associated with the default namespace.</description>
</property>

<property>
<name>phoenix.index.failure.handling.rebuild</name>
<value>true</value>
</property>

<property>
<name>phoenix.index.failure.block.write</name>
<value>true</value>

</property>

image.png-109.7kB

从新启动 hbase

image.png-109.6kB

image.png-59.9kB

image.png-46.5kB

image.png-76.9kB

整理上传数据测试：

 vim  ip_shanghai.txt
 ---
2817314940,223.255.239.246,上海,上海,联通
2817314941,223.255.239.247,上海,上海,联通
2817314942,223.255.239.248,上海,上海,联通
2817314943,223.255.239.249,上海,上海,联通
2817314944,223.255.239.250,上海,上海,联通
2817314945,223.255.239.251,上海,上海,联通
2817314946,223.255.239.252,上海,上海,联通
2817314947,223.255.239.253,上海,上海,联通
2817314948,223.255.239.254,上海,上海,联通
2817314949,223.255.239.255,上海,上海,联通
 ---

   id        自增ID
   ip        ipv4地址
   province  省份
   city      城市
   operator  运营商
   country   国家

 这边用ip 地址 做为rowkey

登录phoenix 
!ph

create scheam IP_LOCATION;

create table IP_LOCATION.IP_ADDRESS(IP varchar primary key,INFO.ID varchar,INFO.PROVINCE varchar, INFO.CITY varchar, INFO.OPERATOR varchar, INFO.COUNTRY varchar) column_encoded_bytes=0;

image.png-32.2kB

登录hbase 查看 会自动生成 一个 IP_LOCATION:IP_ADDRESS 表

image.png-56.8kB

导入数据：

hdfs dfs -put ip_shanghai.txt /tmp/hbase

image.png-9.8kB

加载数据生成hfile

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=INFO:ID,HBASE_ROW_KEY,INFO:PROVINCE,INFO:CITY,INFO:OPERATOR,INFO:COUNTRY -Dimporttsv.separator=, -Dimporttsv.bulk.output=/tmp/hfile/ipshanghai IP_LOCATION:IP_ADDRESS /tmp/hbase/ip_shanghai.txt

image.png-183.6kB

image.png-100.2kB

image.png-64.4kB


将数据导入hbase 当中：

hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/hfile/ipshanghai IP_LOCATION:IP_ADDRESS

image.png-136.5kB

image.png-142.1kB

验证：

!ph

!table 

select * from IP_LOCATION.IP_ADDRESS;

image.png-46.2kB

来源：oschina

链接：https://my.oschina.net/u/4312833/blog/4300359

标签

Apache HBase

Cloudera

phoenix

kerberos

CDH6.3.2 启用Kerberos 集成使用phoenix

CDH6.3.2 启用Kerberos 集成使用phoenix

一、下载并安装Phoenix parcel

二、安装CSD文件

2.1 安装 phoenix

三： 在Cloudera Manager中添加Phoenix服务

四、配置HBase以用于Phoenix

五：冒烟测试

六. 导入数据验证测试

七：关于phoinex 的schema 与 hbase 的namespace 集成

三：在Cloudera Manager中添加Phoenix服务