apache版本安装
安装 hbase-1.2.11-bin.tar.gz
安装 hive-2.1.0
安装 hadoop-2.6.0-cdh
安装 zookeeper-3.4.12
安装 apache-kylin-2.0.0-bin-hbase1x.tar.gz 注意:cdh环境请下载其他版本
配置下环境变量直接启动即可
mysql远程访问
GRANT ALL PRIVILEGES ON hive.* TO 'root'@'%' IDENTIFIED BY '访问密码';
flush privileges;
https://blog.csdn.net/qq_27078095/article/details/56865443 hadoop编译snappy
=================================================================================
企业版 kyligence 安装
1、安装条件CDH,或者hadoop2.6+hbase1.2+hive2.1或者不用hbase
用mysql
1.在MySQL数据库中新建名为kylin的数据库
2.在Kyligence Enterprise安装目录下的$KYLIN_HOME/conf/kylin.properties
配置文件中,配置kylin.metadata.url={metadata_name}@jdbc,
{metadata_name}需要替换为您需要的元数据表名,如 kylin_default_instance@jdbc 。
如果该表已存在,则会使用现有的表;如果不存在,则会自动创建该表。
具体示例如下:
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql://localhost:3306/kylin,
username=root,password=,maxActi ve=20,maxIdle=20。
如需使用MySQLCluster支持负载均衡时,需要在连接字符串中加入该参数,具体示例如下:
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql:loadbalance://host1:port1,
host2:port2/kylin,username=root,password=root,maxActive=20,maxIdle=20
maxActive:最大数据库连接数,默认值为5 ; maxIdle:最大等待中的连接数量,默认值为 5;
maxWait:最大等待连接毫秒数,默认值为 1000 ;
3.由于元数据不依赖于HBase,所以需要在配置文件 $KYLIN_HOME/conf/kylin.properties中
添加zookeeper的连接项kylin.env.zookeeper-connect-string=host:port ,如kylin.env.zookeeper-connect-string=localhost:2181。
4.如果您需要对JDBC的密码进行加密,请在$KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib目录下运行如下命令:
java -classpath kap.jar:spring-beans-4.3.10.RELEASE.jar:spring-core-4.3.10.RELEASE.jar:commons-codec-1.7.jar org.apache.kylin.rest.security.PasswordPlaceholderConfigurer AES <your_password>
2、因为独立部署,需要用到hive2的客户端beeline
修改配置文件/opt/kylin/conf/kylin.properties
可以看到关闭了snappy压缩
kylin.source.hive.client=beeline
kylin.source.hive.beeline-params=-n root -u 'jdbc:hive2://host:port' --hiveconf hive.exec.compress.output=false --hive conf dfs.replication=2 --hiveconf hive.security.authorization.sqlstd.confwhitelist.append='mapreduce.job.*|dfs.*'
因为我们环境的hadoop没有snappy压缩,所以需要修改
kylin_hive_conf.xml 、kylin_job_conf.xml 、 kylin_job_conf_inmem.xml 这几个文件中的compress,改为false
3、在hdfs上构建2个目录,/kylin 和 /user/hadoop(用户名)
4、配置kylin的环境变量
5、check-env.sh检查环境 , ok ,启动即可 kylin.sh start
构建cube的时候可能构建不动,有可能是map reduce的内存小,修改kylin_job的内存,目前是修改为的8G。
注意:hive客户端我是从其他节点copy过来的,因为我们集群有spark,所以hive下有spark的jar,和kylin自带的sparkjar包冲突,删除即可。
================================================================================
kyligence卸载
1、stop kylin,需要备份的备份,metastore.sh backup
2、hdfs上删除/kylin 和 /user/hadoop
3、如果是配置的hbase作为元数据存储,就disable_all命令 禁用“kylin_metadata.*” 和drop_all “kylin_metadata.*”
4、去掉kylin_home,生效环境变量
=============================使用笔记=================================
来源:CSDN
作者:尘缘未了-
链接:https://blog.csdn.net/qq_35315256/article/details/89307333