zeppelin

CDH5.15.0+spark1.6.0+hive1.1集群与zeppelin0.8.1+spark-notebook打通踩坑总结

二次信任 提交于 2019-12-03 02:14:47
二进制all包多为spark2 scala2.11的所以源码编译本地相关版本兼容的包的及其它hadoop hive yarn 版本,源码git下载编译排错见前边文章,下为编译合适版本后的安装过程: 1.zeppelin081/conf/zeppelin-env.sh: export MASTER=local[2] #yarn-client #export SCALA_HOME=/usr/share/scala export SCALA_HOME=/opt/soft/scala-2.10.5 export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive #export SPARK_HOME=/opt/cloudera/parcels/SPARK2/lib/spark2 export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop if [ -n "$HADOOP_HOME" ]; then export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${HADOOP_HOME}/lib/native fi #export SPARK_CONF_DIR=/etc

apache zeppelin is started but there is connection error in localhost:8080

匿名 (未验证) 提交于 2019-12-03 01:36:02
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: after successfully build apache zepellin on Ubuntu 14, I start zeppelin and it says successfully started but when I go to localhost:8080 Firefox shows unable to connect error like it didn't started but when I check Zeppelin status from terminal it says running and also I just copied config files templates so the config files are the default update changed the port to 8090 , here is the config file , but no change in result <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name

Error while configuring Apache Zeppelin on Windows 10

匿名 (未验证) 提交于 2019-12-03 01:28:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 由 翻译 强力驱动 问题: I get the following error while trying to install and configure Apache Zeppelin on Windows 10: org . apache . zeppelin . interpreter . InterpreterException : The filename , directory name , or volume label syntax is incorrect at org . apache . zeppelin . interpreter . remote . RemoteInterpreterManagedProcess . start ( RemoteInterpreterManagedProcess . java : 143 ) at org . apache . zeppelin . interpreter . remote . RemoteInterpreterProcess . reference ( RemoteInterpreterProcess . java : 73 ) at org . apache . zeppelin . interpreter

zeppelin hive interpreter throws ClassNotFoundException

匿名 (未验证) 提交于 2019-12-03 01:20:02
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: I have deployed zeppelin 0.6 and configured hive under Jdbc interpreter. Tried executing %hive show databases Throws: org.apache.hive.jdbc.HiveDriver class java.lang.ClassNotFoundException java.net.URLClassLoader.findClass(URLClassLoader.java:381) java.lang.ClassLoader.loadClass(ClassLoader.java:424) sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) java.lang.ClassLoader.loadClass(ClassLoader.java:357) java.lang.Class.forName0(Native Method) java.lang.Class.forName(Class.java:264) org.apache.zeppelin.jdbc.JDBCInterpreter

Zeppelin + Spark: Reading Parquet from S3 throws NoSuchMethodError: com.fasterxml.jackson

匿名 (未验证) 提交于 2019-12-03 01:06:02
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: Using Zeppelin 0.7.2 binaries from the main download, and Spark 2.1.0 w/ Hadoop 2.6, the following paragraph: val df = spark.read.parquet(DATA_URL).filter(FILTER_STRING).na.fill("") Produces the following: java.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class; at com.fasterxml.jackson.module.scala.deser.NumberDeserializers$.<init>(ScalaNumberDeserializersModule.scala:49) at com.fasterxml.jackson.module.scala.deser.NumberDeserializers$.<clinit>

CDH + phoenix+ zeppelin

久未见 提交于 2019-12-01 17:38:42
内容概述 1.安装及配置Phoenix 2.Phoenix的基本操作 3.使用Phoenix bulkload数据到HBase 4.使用Phoenix从HBase中导出数据到HDFS 测试环境 1.CDH5.11.2 2.RedHat7.2 3.Phoenix4.7.0 前置条件 1.CDH集群正常 2.HBase服务已经安装并正常运行 3.测试csv数据已准备 4.Redhat7中的httpd服务已安装并使用正常 2.在CDH集群中安装Phoenix 1.到Cloudera官网下载Phoenix的Parcel,注意选择与操作系统匹配的版本,因为本次测试使用的是Redhat7,所以选择后缀名为el7的文件。下载地址为: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ 具体需要下载的三个文件地址为: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/CLABS_PHOENIX-4

IntelliJ IDEA Ultimate家族新成员Big Data Tools——集成Zeppelin和Spark

一世执手 提交于 2019-12-01 15:43:14
集成Zeppelin和Spark Big Data Tools是IntelliJ IDEA Ultimate的新插件,是为使用 Zeppelin 和 Spark 的数据工程师和其他专业人员所量身定做的一款软件。 Zeppelin notebooks with IntelliJ IDEA 该插件可在笔记本内部提供智能导航,代码完成,检查和快速修复以及重构功能。无需离开喜欢的IDE,就可以创建,编辑,运行和共享本地或远程Zeppelin笔记本,而。 可以去 https://forms.gle/Ao1oqZwqsRqCNHnJ6 吐槽评价并给建议哦! 特征 浏览,创建和删除笔记本 Coding Assistance for Scala 代码完成 重命名重构 提取变量 函数跳转 显示用法 创建和删除段落 运行段落 浏览段落的输出 支持基本的可视化 将会有更多的语言和集成。 路线图 即将发布,敬请关注。 快速说明 确保版本为 IntelliJ IDEA Ultimate 2019.2 * 确保已安装BashSupport,Python和Scala插件 在设置| 插件,切换到“市场”选项卡,然后向下滚动以查看“大数据工具”插件。单击安装。 * 关闭设置并重新启动IDE。 如果一切正常,将在右侧看到“大数据工具”工具窗口。打开它,然后单击工具窗口工具栏上的加号图标,然后选择Zeppelin。 在

zeppelin on CDH及配置spark查询hive表

守給你的承諾、 提交于 2019-11-28 07:51:18
2019独角兽企业重金招聘Python工程师标准>>> 1.下载zeppelin http://zeppelin.apache.org/download.html 我下载的是796MB的那个已经编译好的,如果需要自己按照环境编译也可以,但是要很长时间编译,这个版本包含了很多插件,我虽然是CDH环境但是这个也可以使用。 2.修改配置文件 cd /zeppelin-0.7.3-bin-all/conf cp zeppelin-env.sh.template zeppelin-env.sh cp zeppelin-site.xml.template zeppelin-site.xml vim zeppelin-env.sh 添加配置如下:我的是spark2用不了spark1.6版本这个版本的zeppelin export HIVE_HOME=/opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive export JAVA_HOME=/usr/java/jdk1.8.0_121 export MASTER=yarn-client export ZEPPELIN_JAVA_OPTS="-Dmaster=yarn-client -Dspark.yarn.jar=/home/zeppelin-0.7.3-bin-all