Kylin大数据分析神兽

天涯浪子 提交于 2019-12-23 21:58:28

apache版本安装

安装 hbase-1.2.11-bin.tar.gz

安装 hive-2.1.0

安装 hadoop-2.6.0-cdh

安装 zookeeper-3.4.12

安装 apache-kylin-2.0.0-bin-hbase1x.tar.gz    注意:cdh环境请下载其他版本

配置下环境变量直接启动即可

 

mysql远程访问

GRANT ALL PRIVILEGES ON hive.* TO 'root'@'%' IDENTIFIED BY '访问密码';
flush privileges;

https://blog.csdn.net/qq_27078095/article/details/56865443 hadoop编译snappy

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.6.0/bk_installing_manually_book/content/rpm-chap1-11.html配置yarn文档

=================================================================================

 

企业版 kyligence 安装

官网:https://kyligence.io/zh/

1、安装条件CDH,或者hadoop2.6+hbase1.2+hive2.1或者不用hbase

用mysql

1.在MySQL数据库中新建名为kylin的数据库
2.在Kyligence	Enterprise安装目录下的$KYLIN_HOME/conf/kylin.properties
配置文件中,配置kylin.metadata.url={metadata_name}@jdbc,
{metadata_name}需要替换为您需要的元数据表名,如	kylin_default_instance@jdbc	。
如果该表已存在,则会使用现有的表;如果不存在,则会自动创建该表。
具体示例如下:
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql://localhost:3306/kylin,
username=root,password=,maxActi ve=20,maxIdle=20。
如需使用MySQLCluster支持负载均衡时,需要在连接字符串中加入该参数,具体示例如下:
kylin.metadata.url=kylin_default_instance@jdbc,url=jdbc:mysql:loadbalance://host1:port1,
host2:port2/kylin,username=root,password=root,maxActive=20,maxIdle=20	
maxActive:最大数据库连接数,默认值为5	; maxIdle:最大等待中的连接数量,默认值为	5; 
maxWait:最大等待连接毫秒数,默认值为	1000	; 
3.由于元数据不依赖于HBase,所以需要在配置文件	$KYLIN_HOME/conf/kylin.properties中
添加zookeeper的连接项kylin.env.zookeeper-connect-string=host:port	,如kylin.env.zookeeper-connect-string=localhost:2181。
4.如果您需要对JDBC的密码进行加密,请在$KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib目录下运行如下命令:
java	-classpath	kap.jar:spring-beans-4.3.10.RELEASE.jar:spring-core-4.3.10.RELEASE.jar:commons-codec-1.7.jar	org.apache.kylin.rest.security.PasswordPlaceholderConfigurer	AES	<your_password>

2、因为独立部署,需要用到hive2的客户端beeline

修改配置文件/opt/kylin/conf/kylin.properties

可以看到关闭了snappy压缩

kylin.source.hive.client=beeline 
kylin.source.hive.beeline-params=-n	root	-u	'jdbc:hive2://host:port'	--hiveconf	hive.exec.compress.output=false	--hive conf	dfs.replication=2		--hiveconf	hive.security.authorization.sqlstd.confwhitelist.append='mapreduce.job.*|dfs.*'

因为我们环境的hadoop没有snappy压缩,所以需要修改

kylin_hive_conf.xml 、kylin_job_conf.xml 、 kylin_job_conf_inmem.xml 这几个文件中的compress,改为false

3、在hdfs上构建2个目录,/kylin  和  /user/hadoop(用户名)

4、配置kylin的环境变量

5、check-env.sh检查环境 , ok ,启动即可 kylin.sh start

 

构建cube的时候可能构建不动,有可能是map reduce的内存小,修改kylin_job的内存,目前是修改为的8G。

注意:hive客户端我是从其他节点copy过来的,因为我们集群有spark,所以hive下有spark的jar,和kylin自带的sparkjar包冲突,删除即可。

================================================================================

kyligence卸载

1、stop kylin,需要备份的备份,metastore.sh backup

2、hdfs上删除/kylin 和 /user/hadoop

3、如果是配置的hbase作为元数据存储,就disable_all命令 禁用“kylin_metadata.*”  和drop_all “kylin_metadata.*”

4、去掉kylin_home,生效环境变量

 

 

=============================使用笔记=================================

 

 

 

 

 

 

 

 

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!