zeppelin

介绍 zeppelin主要有以下功能 数据提取 数据发现 数据分析 数据可视化 目前版本(0.5-0.6)之前支持的数据搜索引擎有如下 安装 环境 centOS 6.6 编译准备工作 sudo yum update sudo yum install openjdk-7-jdk sudo yum install git sudo yum install npm 下载源码 git clone https://github.com/apache/incubator-zeppelin.git 编译，打包 cd incubator-zeppelin #build for spark 1.4.x ,hadoop 2.4.x mvn clean package -Pspark-1.4 -Dhadoop.version=2.4.0 -Phadoop-2.4 -DskipTests -P build-distr 结果会生成在 zeppelin-distribution/target 下 解压 tar -zxvf zeppelin-0.6.0-incubating-SNAPSHOT.tar.gz 修改配置，在zeppelin-site.xml中可以修改端口号等信息，zeppelin-env.sh中修改一些启动环境变量。 cp zeppelin-site.xml.template zeppelin

1、关闭集群 配置以下几个文件 hdoop的core-site.xml文件 （hadoop代理） < property > < name > hadoop.proxyuser.自己用户.hosts < /name > < value > * < /value > < /property > < property > < name > hadoop.proxyuser.自己用户.groups < /name > < value > * < /value > < /property > hdoop用户就写hadoop hadoop的hdfs-site.xml < property > < name > dfs.webhdfs.enabled < /name > < value > true < /value > < /property > hive的hive-site.xml文件 < property > < name > hive.server2.thrift.port </ name > < value > 10000 </ value > </ property > < property > < name > hive.server2.thrift.bind.host </ name > < value > 192.168.61.202 </ value > </

Zeppelin是一个基于Web的notebook，提供交互数据分析和可视化。后台支持接入多种数据处理引擎，如spark，hive等。支持多种语言： Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。本文主要介绍Zeppelin中Interpreter和SparkInterpreter的实现原理。 转载请注明 http://www.cnblogs.com/shenh062326/p/6195064.html 安装与使用 参考http://blog.csdn.net/jasonding1354/article/details/46822391 原理简介 Interpreter Zeppelin中最核心的概念是Interpreter，interpreter是一个插件允许用户使用一个指定的语言或数据处理器。每一个Interpreter都属于换一个InterpreterGroup，同一个InterpreterGroup的Interpreters可以相互引用，例如SparkSqlInterpreter 可以引用 SparkInterpreter 以获取 SparkContext，因为他们属于同一个InterpreterGroup。当前已经实现的Interpreter有spark解释器

Apache Zeppelin 提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的，就是来自于当时的demo。 Zeppelin 是一个Apache的孵化项目. 一个基于web的笔记本，支持交互式数据分析。你可以用SQL、 Scala 等做出数据驱动的、交互、协作的文档。(类似于ipython notebook，可以直接在浏览器中写代码、笔记并共享) 多用途笔记本 可实现你所需要的： - 数据采集 - 数据发现 - 数据分析 - 数据可视化和协作 支持多种语言，默认是scala(背后是 Spark shell)，SparkSQL, Markdown 和 Shell。 甚至可以添加自己的语言支持。 Apache Spark 集成 Zeppelin 提供了内置的 Apache Spark 集成。你不需要单独构建一个模块、插件或者库。 Zeppelin的Spark集成提供了： - 自动引入SparkContext 和 SQLContext - 从本地文件系统或maven库载入运行时依赖的jar包。 - 可取消job 和 展示job进度 数据可视化

Apache Zeppelin提供了web版的类似ipython的notebook，用于做数据分析和可视化。背后可以接入不同的数据处理引擎，包括spark, hive, tajo等，原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的，就是来自于当时的demo。 Zepplin安装 1.解压 tar -zxvf 2.配置文件 配置beeline 在hive的conf的hive-sit.xml中添加 <property> ​ <name>hive.server2.authentication</name> ​ <value>NONE</value> </property> <property> ​ <name>hive.server2.thrift.client.user</name> ​ <value>root</value> ​ <description>Username to use against thrift client</description> </property> <property> ​ <name>hive.server2.thrift.client.password</name> ​ <value>root</value> ​ <description>Password to

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Zepplin是一个很有意思的笔记本，支持众多interpreter，包括Flink。在网上找了很多资料，发现直接使用二进制包，或者从源码编译，均无法向Flink 1.7.1提交作业。0.81和0.9.0-SNAPHOST都试过。跟同事咨询了一下，找到一个Zeppelin+Blink的镜像，体验特别好。 $ docker run -d -p 8085:8085 -p 8091:8091 zjffdu/zeppelin-blink:latest <java:1.8> Unable to find image 'zjffdu/zeppelin-blink:latest' locally latest: Pulling from zjffdu/zeppelin-blink 7b722c1070cd: Already exists 5fbf74db61f1: Already exists ed41cb72e5c9: Already exists 7ea47a67709e: Already exists a3e223183687: Downloading [=========> ] 26.18MB/131.6MB a3e223183687: Downloading [===========> ] 30.42MB/131

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 本文介绍Apache Zeppelin网页笔记本如何创建配置jdbc解释器，连接Oracle数据库，进行SQL开发，实现数据可视化。 简单来说，步骤如下： 下载ojdbc8.jar 创建新jdbc解释器 配置jdbc参数 测试新解释器 Download ojdbc8.jar Create new jdbc Interpreter Configure jdbc parameters Test new Interpreter 1. Go to Interpreters page. 2. Create new jdbc Interpreter. 3. Configure parameters. default.driver oracle.jdbc.driver.OracleDriver default.url jdbc:oracle:thin:@//host:port/servicename default.user database_user default.password password artifact /opt/oracle/ojdbc8.jar 4. Create new notbook binding with the new interpreter. 如果你觉得有收获，请给我点赞/收藏/打赏。(^_

修改zeppelin 配置文件 在zeppelin-env.sh中添加spark路径和hadoop配置文件路径 export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/usr/lib/hadoop 修改spark interpreter参数 master 可以为： local[*] in local mode spark://master:7077 in standalone cluster yarn-client in Yarn client mode yarn-cluster in Yarn cluster mode mesos://host:5050 in Mesos cluster 我这里是 spark on yarn 所以我配置的 master 为yarn，提交模式为 cluster，我设置为 client 的时候运行任务一直卡着不动 排错 我这里是在docker里搭建的，中间还报了其它的错 java.lang.RuntimeException: org.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTransportException: java.net.ConnectException:

1.下载zeppelin http://zeppelin.apache.org/download.html 我下载的是796MB的那个已经编译好的，如果需要自己按照环境编译也可以，但是要很长时间编译，这个版本包含了很多插件，我虽然是CDH环境但是这个也可以使用。 2.修改配置文件 cd /zeppelin-0.7.3-bin-all/conf cp zeppelin-env.sh.template zeppelin-env.sh cp zeppelin-site.xml.template zeppelin-site.xml vim zeppelin-env.sh 添加配置如下：我的是spark2用不了spark1.6版本这个版本的zeppelin export HIVE_HOME=/opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive export JAVA_HOME=/usr/java/jdk1.8.0_121 export MASTER=yarn-client export ZEPPELIN_JAVA_OPTS="-Dmaster=yarn-client -Dspark.yarn.jar=/home/zeppelin-0.7.3-bin-all/interpreter/spark/zeppelin-spark_2.11

概述 Apache Spark是一种快速和通用的集群计算 系统 。它提供 Java ，Scala， Python 和R中的高级API，以及支持一般执行图的优化引擎。Zeppelin支持Apache Spark，Spark解释器组由5个解释器组成。 名称 类 描述 ％spark SparkInterpreter 创建一个SparkContext并提供Scala环境 ％spark.pyspark PySparkInterpreter 提供Python环境 ％spark.r SparkRInterpreter 提供具有SparkR支持的R环境 ％spark.sql SparkSQLInterpreter 提供SQL环境 ％spark.dep DepInterpreter 依赖加载器 配置 Spark解释器可以配置为由Zeppelin提供的属性。您还可以设置表中未列出的其他Spark属性。有关其他属性的列表，请参阅Spark可用属性。 属性 默认 描述 ARGS Spark命令行参考 master local[*] Spark master uri. 例如：spark://masterhost:7077 spark.app.name Zeppelin Spark应用的名称。 spark.cores.max 要使用的核心总数。 空值使用所有可用的核心。 spark.executor