基于Storm构建实时热力分布项目实战

基于Storm构建实时热力分布项目实战
 

下载地址：百度云盘

Storm是实时流处理领域的一柄利器，本课程采用最新的Storm版本1.1.0，从0开始由浅入深系统讲解，深入Storm内部机制，掌握Storm整合周边大数据框架的使用，从容应对大数据实时流处理！

适合人群及技术储备要求
这是一门非常具有可操作性的课程，适合Java工程师正处于瓶颈期想提升自己技术、想转型做大数据的开发者，更适合对于大数据感兴趣、想从事大数据研发工作的同学。本课程将手把手带你从零循序渐进地讲解Storm各方面的技术点，让你轻松胜任实际大数
据实时流处理的工作，稳拿高薪！

技术储备要求
熟练掌握Java SE、Linux即可

 

课程目录：第1章 课程导学引见课程相关背景，学习建议等等1-1 -导学试看1-2 -OOTB环境运用演示1-3 -授课习气与学习建议第2章 初识实时流处置StormStorm作爲近几年Hadoop生态圈很火爆的大数据实时流处置框架，是成爲大数据研发工程师必备的技艺之一。 本章将从如下几个方面让大家关于Storm有微观上的看法：什麼是Storm、Storm的展开史、Storm比照Hadoop的区别、Storm比照Spark Streaming的区别、Storm的劣势、Storm运用现状及展开趋向、Storm运用案例分享...2-1 -课程目录2-2 -Storm是什麼2-3 -Storm展开历史之从Twitter说起2-4 -Storm展开历史之Storm的生长2-5 -Storm技术网站引见2-6 -Storm和Hadoop的区别2-7 -Storm和Spark Streaming的区别2-8 -Storm的劣势2-9 -Storm目前现状与展开趋向2-10 -Storm运用案例分享第3章 Storm中心概念本章节将从如下几个方面带大家深化了解Storm的中心概念：初识Storm中心概念、经过日常生活的案例来了解Storm的中心概念、依据官网的描画来了解Storm中心概念、最初经过画图解说的方式解说Storm的中心概念。置信经过多角度比照中止解说Storm的中心概念，让大家掌握的愈加深化。由于Storm的中心概念的了解是后续Storm课程学习...3-1 -课程目录3-2 -初识Storm中心概念3-3 -Storm中心概念了解记忆概述试看3-4 -Storm中心概念了解记忆之地铁运转模型3-5 -Storm中心概念了解记忆之Storm3-6 -Storm中心概念小结3-7 -Storm中心概念官网详解3-8 -图解Storm中心概念第4章 Storm编程本章节将手把手带大家搭建基于IDEA+Maven的Storm的开发环境，经过案例交融Storm编程中常用API的运用以及开发进程中的留意事项。4-1 -课程目录4-2 -Storm开发环境搭建4-3 -Storm中心接口ISpout详解4-4 -Storm中心接口IComponent详解4-5 -Storm中心接口IBolt详解4-6 -Storm求和案例编程之Spout功用完成4-7 -Storm求和案例编程之Bolt功用完成4-8 -Storm求和案例编程之Topology提交功用完成及测试4-9 -Storm词频案例编程之Spout功用完成4-10 -Storm词频案例编程之Bolt功用完成4-11 -Storm词频案例编程之Topology提交功用完成及测试4-12 -Storm编程留意事项第5章 Storm周围框架运用本章节将率领大家学习Storm周围常用框架的运用，比方：ZooKeeper、Kafka、Logstash、以及Logstash与Kafka的整合运用。5-1 -课程目录5-2 -JDK装置5-3 -ZooKeeper概述及环境搭建5-4 -ZooKeeper运用详解5-5 -Logstash概述及部署5-6 -Logstash运用之控制台输出输入5-7 -Logstash运用之文件输出控制台输入5-8 -Kafka概述5-9 -Kafka架构及中心概念5-10 -Kafka单节点单broker的部署及运用5-11 -Kafka单节点多broker部署及运用5-12 -Kafka容错性测试5-13 -Logstash运用之整合Kafka第6章 Storm架构及部署本章节将学习Storm的架构以及各个中心组件的功用、并搭建Storm的单机环境和散布式环境、如何提交/反省/杀死Storm作业、Storm UI界面参数引见6-1 -课程目录6-2 -Storm架构详解6-3 -Storm单机部署之前置条件及解压6-4 -Storm单机部署之启动Storm各节点及Storm UI界面详解6-5 -改写Storm作业并提交到Storm单节点集群运转6-6 -Storm常用命令引见6-7 -Storm集群部署规划试看6-8 -Storm集群部署之软件包分发和jdk部署6-9 -Storm集群部署之ZooKeeper散布式环境部署6-10 -Storm集群部署之Storm集群部署及启动6-11 -提交Storm作业到集群中运转&目录树引见第7章 并行度本章节将重点解说Storm的优化中的中心：并行度调整(worker数量、executor数量、task数量)，将经过对代码的修正并提交到Storm环境上去运转，结合Storm UI上展现的参数效果来中止调优，让大家关于Storm的并行度有愈加深化的了解，本章节是学习和面试进程中重中之重，务必掌握。...7-1 课程目录_7-2 -并行度概念详解7-3 -如何将Storm集群方式更改爲单机方式7-4 -Storm作业运转UI页面上的参数详解7-5 -worker数量的设置7-6 -executor数量的设置7-7 -task数量的设置7-8 -acker的设置7-9 -并行度案例解说及并行度静态调整第8章 分组战略本章节将带来大家经过代码以及UI参数展示的方式来学习Storm中的常用分组战略：Shuffle分组战略、Field分组战略、All分组战略。本章节也是Storm开发进程中务必要掌握的局部。8-1 -课程目录8-2 -Stream Grouping概述8-3 -Shuffle Grouping开发详解8-4 -FieldGrouping开发详解8-5 -AllGrouping开发详解8-6 -Stream Grouping其他第9章 Storm牢靠性本章节将从如下方面来解说Storm框架的牢靠性：Worker进程、Supervisor进程、nimbus进程、节点、以及音讯处置确实认机制(ack/fail)。本章节是面试进程中常常会被考核到的。9-1 -课程目录9-2 -Storm进程级别的容错9-3 -Storm的ack和fail机制第10章 DRPC本章节将解说什麼是RPC机制、Hadoop中的RPC运用引见、如何开发Storm的基于本地和近程方式的DPRC编程10-1 -课程目录10-2 -RPC原理图解10-3 -基于Hadoop的RPC完成.mp410-4 -Storm DRPC概述10-5 -Storm Local DRPC开发10-6 -Storm Remote DRPC及客户端代码开发第11章 Storm整合其他大数据框架的运用本章节将解说Storm如何整合Redis、JDBC、HDFS、HBase、ES等常用的大数据框架综合运用。在消费环境中，Storm都是需求整合周围框架一同配合运用，各自完成本人的职责，进而完成大数据的实时流处置项目11-1 -课程目录11-2 -Storm整合Redis运用概述11-3 -Storm整合Redis编程开发11-4 -Storm整合jdbc概述11-5 -Storm整合JDBC编程开发11-6 -Storm整合HDFS运用概述11-7 -HDFS环境疾速搭建11-8 -Storm整合HDFS编程开发11-9 -Storm整合HBase概述11-10 -HBase环境疾速搭建11-11 -Storm整合HBase编程开发11-12 -Storm整合Elasticsearch概述第12章 Storm综合项目实战本章节将率领大家运用Logstash+Kafka+Storm+高德地图来完成基于一个交通数据的热力图的实时展现项目，经过该项目使得大家可以具有和掌握如何运用Storm来架构一个实时流处置项目的才干12-1 -课程目录12-2 -项目概述12-3 -如何采集实时区域人流量数据.mp412-4 -项目架构12-5 -高德地图API根本运用12-6 -高德地图API常用工具引见12-7 -高德地图热力图静态数据展现12-8 -Storm整合Kafka原理12-9 -Storm整合Kafka功用开发12-10 -Storm整合Kafka功用测试12-11 -Logstash和Kafka的整合留意事项详解12-12 -数据源发作器开发12-13 -打通整条实时流处置流程链路12-14 -项目处置及表构造设计12-15 -Storm处置后果存储到数据库中12-16 -经过SQL完成我们的最终后果统计12-17 -基于SpringBoot构建Web项目12-18 -静态获取数据并在高德地图上展现出热力图12-19 -添加统计的工夫范围并在热力图上展现12-20 -项目扩展第13章 课程总结对课程回想总结13-1 课程总结及后续课程方案本课程已终了

来源：oschina

链接：https://my.oschina.net/u/4954051/blog/4930328