1. 技术文章
  2. Apache Kylin安装指南+入门案例(附图)

Apache Kylin安装指南+入门案例(附图)

由 不打扰是莪最后的温柔 提交于 2020-10-24 08:33:40

Apache Kylin安装文档

  • Kylin安装
  • Kylin使用案例

1. Kylin安装

  • 使用FTP工具上传apache-kylin-2.5.1-bin-hbase1x.tar.gz压缩包到node01的opt/software目录下

  • 解压上一步上传的压缩包opt/module下tar -zxvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /opt/module

  • 进入opt/module目录，更改apache-kylin-2.5.1-bin-hbase1x目录名字mv pache-kylin-2.5.1-bin-hbase1x kylin-2.5.1

  • 此时opt/module目录结构如下
    在这里插入图片描述

  • 进入到kylin-2.5.1目录，查看kylin的目录结构
    在这里插入图片描述

  • 进入conf目录，将 kylin.properties.template改成kylin.properties,命令：mv kylin.properties.template kylin.properties

  • 编辑kylin.properties文件,添加以下内容

     # 下面的node01是你的主机名，我将kylin装在了第一个节点上，需要根据你的主机名更改
 kylin.server.cluster-servers=node01:7070
 kylin.server.mode=all

  • 在/etc/profile下添加java hadoop hive hbase kylin spark的环境变量，下面参考我的设置

     # JAVA_HOME
 export JAVA_HOME=/opt/module/jdk1.8.0_144
 export PATH=:$JAVA_HOME/bin:$PATH
 
 # HADOOP_HOME
 export HADOOP_HOME=/opt/module/hadoop-2.7.2
 export PATH=$PATH:$HADOOP_HOME/bin
 
 # SPARK_HOME
 export SPARK_HOME=/opt/module/spark-2.1.1
 export PATH=$PATH:$SPARK_HOME/bin
 
 # HIVE_HOME
 export HIVE_HOME=/opt/module/hive-1.2.1
 export PATH=$PATH:$HIVE_HOME/bin
 
 # HBASE_HOME
 export HBASE_HOME=/opt/module/hbase-1.3.1
 export PATH=$PATH:$HBASE_HOME/bin
 
 # KYLIN_HOME
 export KYLIN_HOME=/opt/module/kylin-2.5.1
 export PATH=$PATH:$KYLIN_HOME/bin

  • 使用分发命令分发/etc/profile文件，命令是xsync /etc/profile

     # 附xsync脚本
 # 注意的两个地方看下图 一个是更改 for循环中的条件，一个是更改用到主机名的地方
 # 使用文件分发脚本步骤如下
  1. cd /usr/local/bin
  2. vim xsync
  3. 输入下面的shell脚本内容
  4. chmod 777 xsync
  5. 在任意一个位置创建一个文件，然后测试xsync脚本
  
 
 #!/bin/bash
 #1 获取输入参数个数，如果没有参数，直接退出
 pcount=$#
 if((pcount==0)); then
 echo no args;
 exit;
 fi
 
 #2 获取文件名称
 p1=$1
 fname=`basename $p1`
 echo fname=$fname
 
 #3 获取上级目录到绝对路径
 pdir=`cd -P $(dirname $p1); pwd`
 echo pdir=$pdir
 
 #4 获取当前用户名称
 user=`whoami`
 
 #5 循环
 for((host=1; host<4; host++)); do
         echo ------------ node0$host ----------------
                 # rsync是远程同步工具 -r递归 -v显示复制过程 -l拷贝软连接
         rsync -rvl $pdir/$fname $user@node0$host:$pdir
 done

    在这里插入图片描述

  • 由于上面在/etc/profile文件中新增了内容，需要键入source /etc/profile让刚刚做的修改立即生效

  • 正式分发/etc/profile文件，键入命令xsync /etc/profile

  • 到第二个和第三个节点上查看/etc/profile文件中的内容是否和第一个节点中的文件内容一致

  • 在第二个节点和第三个节点上键入命令source /etc/profile

  • 进入kylin的安装目录 cd /opt/module/kylin-2.5.1/
    在这里插入图片描述

  • 键入以下命令以分别检查环境

     # 检查环境
 bin/check-env.sh
 # 检查hive依赖
 bin/find-hive-dependency.sh
 # 检查hbase依赖
 bin/find-hbase-dependency.sh

  • 启动/停止Kylin

     # 启动Kylin
 bin/kylin.sh start
 # 停止Kylin
 bin/kylin.sh stop

  • Warnings这里目前收集了一次错误，之前都解决了，如果有需要请在帖子下方留言您的error

    错误：ERROR: Check hive's usability failed, please check the status of your cluster

    解决 在kylin的安装目录下进入bin目录然后找到check-hive-usability.sh,之后键入命令vim check-hive-usability.sh编辑该文件，修改timeLeft的值为100(默认值为60)，见下图
    在这里插入图片描述

  • 进入web界面

    如果成功启动，在terminal中键入jps命令会出现RunJar的进程，terminal末尾的显示的信息如下图
    在这里插入图片描述

     # 进入浏览器，在地址栏中输入
 node01:7070/kylin/login
 # 账号和密码信息
 账号：ADMIN
 密码：KYLIN

  • Web界面如下
    在这里插入图片描述

2.Kylin使用案例

  • 数据准备

    • 百度网盘链接下载: https://pan.baidu.com/s/18vuT3wbANskP7J3nhlf4GQ 密码: 10jw

    • 下载emp.txt和dept.txt

  • 进入到Hive的操作界面

    • 创建数据库表

      # 创建部门表
create external table if not exists default.dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

# 创建员工表
create external table if not exists default.emp(
empno int,
ename string,
job string,
mgr int,
hiredate string, 
sal double, 
comm double,
deptno int)
row format delimited fields terminated by '\t';

    • 查看创建的表

      show tables;

    • 向表中导入数据

      # 将从网盘中下载好的数据文件导入到节点的`/opt/module/datas`目录下（datas目录是自己手动创建的）
# 这里Hive中就使用默认的数据库default数据库

# 向部门表dept中导入数据
load data local inpath '/opt/module/datas/dept.txt' into table default.dept;

# 向员工表emp中导入数据
load data local inpath '/opt/module/datas/emp.txt' into table default.emp;

    • 查看两张表中的数据

      select * from emp;

      select * from dept;

  • 在Kylin的Web界面创建项目

    • 登录系统

      • 用户名:ADMIN 密码:KYLIN

    • 创建工程

      • 点击左上角的 + 号，输入Project Name和Project Description;最后点击页面卡右下方的Sumbit来提交
        在这里插入图片描述

      在这里插入图片描述

    • 选择数据源
      在这里插入图片描述
      在这里插入图片描述

    • 查看数据源
      在这里插入图片描述

    • 创建Model

      • 回到Models页面
        在这里插入图片描述

      • 填充Model名称和描述信息，然后继续Next

        在这里插入图片描述

      • 选择事实表

        在这里插入图片描述

      • 选择添加的维度表及JOIN的字段

        在这里插入图片描述

      • 选择添加的维度表和JOIN的字段

        在这里插入图片描述

      • 选择维度信息

        在这里插入图片描述

      • 选择度量信息

        在这里插入图片描述

      • 添加分区信息及where过滤条件，点击Save

        在这里插入图片描述

      • ModelOne创建完成

        在这里插入图片描述

    • 创建Cube

      • 选择Model -> New Cube，选择我们刚刚创建的ModelOne并填写Cube Name

        在这里插入图片描述

      • 添加维度

        在这里插入图片描述

        在这里插入图片描述

      • 添加预计算内容
        在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 创建好的Cube信息展
    在这里插入图片描述
    • 到此为止，我们的CubeOne配置完成

  • 触发Cube预计算

    • 点击Action ->Build

      在这里插入图片描述

    • 查看构建进度

      在这里插入图片描述

    • Cube构建完成

      在这里插入图片描述

  • 对比Kylin和Hive

    • Hive查询

      # 需求：根据部门名称统计员工薪水总数
# 进入到Hive的Shell端口 bin/hive
# 键入下面的语句

select dname,sum(sal) from emp e join dept d on e.deptno = d.deptno group by dname;

      查询时间

      在这里插入图片描述

    • Kylin查询

      进入Insight页面，输入SQL语句，点击Sumbit来提交

      在这里插入图片描述

      在这里插入图片描述

标签
Hive
Apache HBase
Apache Kylin
next
易学教程内所有资源均来自网络或用户发布的内容，如有违反法律规定的内容欢迎反馈！
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!