Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo。
Zepplin安装
1.解压
tar -zxvf
2.配置文件
配置beeline
在hive的conf的hive-sit.xml中添加
<property>
<name>hive.server2.authentication</name>
<value>NONE</value>
</property>
<property>
<name>hive.server2.thrift.client.user</name>
<value>root</value>
<description>Username to use against thrift client</description>
</property>
<property>
<name>hive.server2.thrift.client.password</name>
<value>root</value>
<description>Password to use against thrift client</description>
</property>
将zepplin的conf的样板复制
cp zeppelin-site.xml.template zeppelin-site.xml
修改端口防止冲突
zeppelin-site.xml
<property>
<name>zeppelin.server.port</name>
<value>8000</value>
<description>Server port.</description>
</property>
样板复制
cp zeppelin-env.sh.template zeppelin-env.sh
添加
zeppelin-env.sh
export JAVA_HOME=
export HADOOP_CONF_DIR=
HADOOP_CONF_DIR的路径要写到hadoop/etc/hadoop
3.启动zeppelin
./zeppelin-daemon.sh start
./zeppelin-daemon.sh stop 关闭zepplin
4.配置hive解释器
Zepplin中没有默认的hive解释器,所以要通过jdbc解释器进行添加。
①.拷贝hive的配置文件hive-site.xml到zeppelin-0.8.1-bin-all/conf下。
②.拷贝jar包
hadoop-common-2.6.0.jar (根据自己已安装版本)
cp /opt/hadoop/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /root/zeppelin-0.8.1-bin-all/interpreter/jdbc
hive-jdbc-1.2.1-standalone.jar(根据自己已安装版本)
cp /opt/hive/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /root/zeppelin-0.8.1-bin-all/interpreter/jdbc
5.测试beeline
beeline连接hive(在会话1中)
beeline本质是java,所以连接方式和java类似,通过驱动程序连接
(目的:测试能不能连接)
beeline -u jdbc:hive2://localhost:10000/default -n root
6.在web页面配置继承hive
7.打开hive服务
nohup hive --service matestore &
回车两次后
hiveserver2
8.使用
点击NoteBook create new note
选择note name 和default interpreter
输入
%hive
show databases
点击三角形按钮
如果成功就会显示当前hive的数据库
来源:CSDN
作者:woshi歌手
链接:https://blog.csdn.net/weixin_42385705/article/details/103580379