Spark源码阅读

Windows 下Spark 快速搭建Spark源码阅读环境

妖精的绣舞 提交于 2019-11-27 20:01:32
最近开始学习Spark,想搭建一个Spark的源码阅读环境。找了一些资料。如 http://m.blog.csdn.net/blog/zhongwen7710/42401445 和 http://guozhongxin.com/pages/2014/10/15/spark_source_code.html , 但是在导入源码后,总会有各种问题。如 很多Jar包下载不下来(国内网络。。我下载2天都没下完),SBT不是那么好用。 所以我就想有没有其他的办法快速的完成这些工作。其实主要的就是那些Jar包能不能不要每次都下载,于是我尝试了把一个我已经下载完成的Jar包复制到另外一台电脑上,发现就不需要重新下载这些Jar。这样基本上能在30分钟内完成环境的搭建。 准备 下载 IDEA 最好 14.X 因为我用的 14.1.15 :) http://www.jetbrains.com/idea/download/ Scala 要2.10.4 或 2.10.5 JDK是必须的 1.7 不推荐 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html Spark Source Code 我使用的是1.4.1 http://www.apache.org/dyn/closer.lua