Spark Streaming结合Flume、Kafka最新最全日志分析
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Spark Streaming结合Flume、Kafka最新最全日志分析 1.修改相应的配置文件 按照 http://my.oschina.net/sunmin/blog/692994 整合安装Flume+Kafka+SparkStreaming 将flume/conf/producer.conf将需要监控的日志输出文件修改为本地的log 路径: /var/log/nginx/www.eric.aysaas.com-access.log 2.导入相关 jar 包 （快捷键 Ctrl + Alt + Shift + s），点击Project Structure界面左侧的“Modules”显示下图界面 jar 包自己编译,或者去载 http://search.maven.org/#search|ga|1|g%3A%22org.apache.spark%22%20AND%20v%3A%221.6.1%22 3.新建log/KafkaTest.scala 代码如下 import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStream import