奈学教育《大数据开发工程师》课程大纲

时光毁灭记忆、已成空白 提交于 2020-10-16 05:09:09

本课程针对企业不同数据规模技术方案进行讲解,紧贴企业热门需求,深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等;课程针对知识点进行企业级案例式教学,理论结合实战,从0到1构建大数据生态技术的方方面面,内容涵盖大数据平台、Spark、Flink、OLAP等核心技术;用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目,把大数据生态技术知识串连起来,让学员形成自己的技术栈,真正成为企业级的大数据开发工程师!

阶段一:小规模数据处理篇
第一单元
掌握Python基础语法

  1. 集合类型
  2. 条件,循环
  3. 文件操作
  4. 函数和函数式编程
  5. 面向对象

第二单元
掌握NumPy进行数据分析

  1. NumPy基本使用
  2. Numpy进阶知识
    第三单元
    掌握Pandas进行数据分析

  3. Pandas基础知识
  4. Series数据结构
  5. DataFrame数据结构
  6. 综合案例演示
    阶段二:中等规模数据处理篇
    第四单元
    掌握Elastichsearch核心设计


  7. Elastichsearch总体架构设计
  8. Elastichsearch核心流程分析
  9. Elastichsearch核心概念详解
    第五单元
    掌握Elastichsearch API使用与调优

  10. Elastichsearch语法详解
  11. Elastichsearch容错原理剖析
  12. Elastichsearch性能调优
    第六单元
    掌握ELK生态针对中等数据规模的方案实践

  13. Logstash原理剖析与实战
  14. Kibana原理剖析与实战
  15. 企业级海量日志分析系统实战
    阶段三:大数据基础平台篇
    第七单元
    掌握ZooKeeper核心设计与应用


  16. ZooKeeper架构设计原理
  17. ZooKeeper核心读写流程剖析
  18. ZooKeeper企业应用场景实战
    第八单元
    掌握HDFS核心架构原理

  19. 大数据基础知识
  20. HDFS架构设计原理
    第九单元
    掌握HDFS企业级架构方案设计

  21. HDFS高可用架构设计
  22. HDFS联邦架构设计
  23. HDFS企业级集群部署
    第十单元
    掌握MapReduce分布式计算模型

  24. MapReduce核心原理剖析
  25. MapReduce Shuffle机制深度剖析
  26. MapReduce案例实操
    第十一单元
    掌握YARN任务调度模型

  27. YARN架构设计原理
  28. YARN核心运行流程
    阶段四:大数据存储篇
    第十二单元
    掌握Hive核心架构设计


  29. Hive生态体系
  30. Hive集群安装
  31. HQL语法精讲
    第十三单元
    掌握Hive企业实操

  32. Hive函数精讲
  33. Hive执行原理深度剖析
    第十四单元
    掌握Hive企业级解决方案

  34. Hive企业级调优
  35. Hive企业高频业务场景剖
    第十五单元
    掌握HBase核心架构原理

  36. HBase架构设计原理剖析
  37. HBase数据模型
  38. HBase数据模型
  39. HBase读写原理剖析
  40. HBase企业级集群分布式部署
    第十六单元
    握HBase企业设计方案

  41. HBase表设计
  42. HBase RowKey设计
  43. HBase二级索引方案实践
    第十七单元
    掌握Kafka核心架构设计

  44. Kafka架构设计原理
  45. Kafka核心概念深度剖析
    第十八单元
    掌握Kafka架构设计优势与运维

  46. Kafka架构设计优势
  47. Kafka集群部署与运维
    第十九单元
    掌握Kafka客户端原理与性能调优

  48. Kafka生产者原理深度剖析
  49. Kafka消费者原理
  50. Kafka性能调优
    阶段五:大数据采集篇
    第二十单元
    掌握Flume/Sqoop日志采集系统实践


  51. Sqoop核心原理剖析
  52. Sqoop企业案例实操
  53. Flume核心原理剖析
  54. Flume企业案例实操
    阶段六:任务调度篇
    第二十一单元
    掌握Azkaban任务调度实践


  55. Azkanban架构原理
  56. Azkanban企业案例实操
    阶段七:大数据处理篇
    第二十二单元
    掌握SparkCore核心原理(上)


  57. Spark任务运行流程
  58. RDD核心原理剖析
  59. Spark任务运行模式
  60. Spark核心算子案例实践
  61. Spark企业级集群分布式部署
    第二十三单元
    掌握SparkCore核心原理(下)

  62. 广播变量与累加变量原理剖析
  63. 窄依赖和宽依赖原理剖析
  64. Stage划分算法
  65. Spark内存模型
    第二十四单元
    掌握SparkCore企业级调优

  66. SparkCore企业级调优实践
    第二十五单元
    掌握SparkSQL核心原理与实践

  67. SparkSQL的前世今生
  68. DataFrame核心原理剖析
  69. DataSet核心原理剖析
  70. UDF/UDAF案例实践
    第二十六单元
    掌握SparkStreaming核心原理

  71. SparkStreaming任务运行流程
  72. DStream核心抽象原理剖析
    第二十七单元
    掌握SparkStreaming核心API企业实践

  73. SparkStreaming高阶函数实操
  74. SparkStreaming容错分析
    第二十八单元
    掌握SparkStreaming企业应用

  75. SparkStreaming企业级数据令零丢失方案设计
  76. SparkStreaming企业级监控告警方案设计
    第二十九单元
    掌握Flink任务调度原理与资源分配

  77. Streaming运行原理
  78. 数据传输策略
  79. Flink并行度&Task原理剖析
  80. Flink资源调度原理剖析
  81. Flink集群分布式部署
    第三十单元
    掌握Flink-Streaming State核心设计与实践

  82. State类型深度剖析
  83. State核心原理深度剖析
  84. Checkpoint & Savepoint企业实践
    第三十一单元
    掌握Flink-Streaming WasterMark核心设计与实践

  85. Time时间类型详解
  86. 有序事件与无序事件
  87. WaterMark原理剖析与实践
    第三十二单元
    掌握Flink-Streaming Window核心设计与实践

  88. Window原理深度剖析
  89. Window触发原理深度剖析与实践
    第三十三单元
    掌握Flink-Streaming企业应用

  90. 综合案例实践
    第三十四单元
    掌握Flink SQL企业实践

    1. Flink SQL编程详解
  91. Flink SQL动态表与连续表
  92. 表流转模式剖析
  93. Flink SQL案例实践
    第三十五单元
    掌握Druid架构原理与实践

  94. Druid架构设计原理
  95. Druid案例实践
    第三十六单元
    掌握Kylin架构原理与实践

  96. Kylin架构设计原理
  97. Kylin案例实践
    第三十七单元
    掌握ClickHouse架构原理与实践

  98. ClickHouse架构设计原理
  99. ClickHouse案例实践
    赠送知识
    第一单元
    企业级大数据集群部署和运维篇
    1.Ambari功能概述
    2.Ambari架构设计
    3.Ambari基础环境准备
    4.企业级集群部署安装
    5.企业级集群管理和实践
    6.ClouderaManager产生背景
    7.ClouderaManager架构设计
    8.企业级集群规划
    9.ClouderaManager基础环境准备
    10.企业级ClouderaManager集群部署安装
    11.企业级CDH集群运维管理
    第二单元
    Java知识准备
    1.Java基础知识
    2.循环语句
    3.面向对象
    4.Java集合
    5.Java多线程
    6.Java IO详解
    7.Java NIO详解
    8.综合案例实践
    第三单元
    Scala知识准备
    2.变量
    3.数据类型
    4.方法和函数
    5.数组
    6.类的定义
    7.构造函数
    8.Scala对象
    9.Trait
    10.Scala模式匹配
    11.隐式转换
    12.上界和下界
    13.Actor
    14.综合案例实践
    第四单元
    Linux/Shell知识准备
    1.Linux操作系统介绍
    2.Vmware安装和介绍
    3.Linux命令分类
    4.Linux命令详解
    5.vi编辑器详解
    6.用户和组
    7.权限管理
    8.crontab管理
    9.网络
    10文本处理
    11.SSH协议
    12.Shell编程




















































易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!