MapReduce

1. 什么是 Hadoop (1) Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构； (2) 主要解决，海量数据的存储和海量数据的分析计算问题； (3) 广义上来说，Hadoop 通常是指一个更广泛的概念—— Hadoop 生态圈。 2. Hadoop 的发展历史 (1) Lucene--Doug Cutting 开创的开源软件，用 Java 书写代码，实现与 Google 类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎； (2) 2001年年底成为 Apache 基金会的一个子项目； (3) 对于大数量的场景，Lucene 面对与 Google 同样的困难； (4) 学习和模仿 Google 解决这些问题的办法 ：微型版 Nutch； (5) 可以说 Google 是 Hadoop 的思想之源(Google在大数据方面的三篇论文)； GFS --->HDFS Map-Reduce --->MR BigTable --->Hbase (6) 2003-2004年，Google 公开了部分 GFS 和 Mapreduce 思想的细节，以此为基础 Doug Cutting 等人用了2年业余时间实现了 DFS 和 Mapreduce 机制，使 Nutch 性能飙升； (7) 2005 年 Hadoop 作为 Lucene 的子项目

如今有很多公司都在努力挖掘他们拥有的大量数据，包括结构化、非结构化、半结构化以及二进制数据等，来探索对数据的深入利用。 大多数公司估计他们只分析了已有数据的12%，剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代，为了避免数据丢失你必须采集并存储这些数据。一些看起来与业务无关的数据，如手机GPS数据，将来也可能会有大用处。 所以，大量公司都寄希望于使用Hadoop解决如下难题： 采集并存储与公司业务职能相关的所有数据。支撑先进的分析功能，包括商业智能，采用现代方式对数据进行先进的可视化和预测性分析。将数据快速分享给所需之人。整合多个数据孤岛来解答以前根本没人提过，甚至是未知的复杂问题。Hadoop支持 解决方案 规模的快速、有效扩大，使不断增长的容量、速度以及多样的数据能够得到快速的处理。 如今Hadoop的购买周期正处于上升阶段，因此在该领域催生了越来越多的厂商。尽管Hadoop是Apache的开源项目，任何人都可以免费下载，但大多数消费者还是倾向于采用厂商的打包方案。除了将所有的Hadoop组件打包并保证其能正常使用（兼容版本）之外，厂商一般还会提供企业级支持和扩展：以Apache Hadoop（HDFS）作为方案的核心组件，搭配额外实现增强Hadoop的功能

20/12/05 01:34:14 INFO mapreduce.Job: Task Id : attempt_1594195336447_31879910_r_000074_0, Status : FAILED Error: java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:2409) at org.apache.hadoop.hdfs.DFSOutputStream.closeImpl(DFSOutputStream.java:2370) at org.apache.hadoop.hdfs.DFSOutputStream.close(DFSOutputStream.java:2335) at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:72) at org.apache.hadoop.fs.FSDataOutputStream.close

Java 8 - 函数编程（lambda表达式） 我们关心的是如何写出好代码，而不是符合函数编程风格的代码。 @pdai <span style='color:red;font-size:25px;'>最全的Java后端知识体系</span><span style='color:red;font-size:25px;'> https://www.pdai.tech </span>, <span style='color:red;font-size:25px;'>每天更新中...</span>。 Java 8 - 函数编程（lambda表达式） 简介 lambda表达式 分类 惰性求值方法 及早求值方法 stream & parallelStream stream & parallelStream parallelStream原理： stream与parallelStream性能测试对比 Stream中常用方法如下： 常用例子 匿名类简写 forEach 方法引用 Filter & Predicate Map&Reduce Collectors flatMap distinct count Match min,max,summaryStatistics 参考资料 简介 在Java世界里面，面向对象还是主流思想，对于习惯了面向对象编程的开发者来说，抽象的概念并不陌生

作者刘建刚老师 刘建刚 快手软件工程师 现就职于快手数据架构部，当前主要工作为快手Flink平台的研发和维护； 曾就职于百度基础架构部。 本次分享主要分为三部分。首先介绍流式计算的基本概念，然后介绍Flink的关键技术，最后讲讲Flink在快手生产实践中的一些应用，包括实时指标计算和快速failover。 一、流式计算的介绍 流式计算的定义： 流式计算主要针对unbounded data（无界数据流）进行实时的计算，将计算结果快速的输出或者修正。 这部分将分为三个小节来介绍： 第一，介绍大数据系统发展史，包括初始的批处理到现在比较成熟的流计算 第二，为大家简单对比下批处理和流处理的区别 第三，介绍流式计算里面的关键问题，这是每个优秀的流式计算引擎所必须面临的问题。 1、大数据系统发展史 上图是2003年到2018年大数据系统的发展史，看看是怎么一步步走到流式计算的。 2003年，Google的MapReduce横空出世，通过经典的Map&Reduce定义和系统容错等保障来方便处理各种大数据。很快就到了Hadoop，被认为是开源版的MapReduce，带动了整个apache开源社区的繁荣。再往后是谷歌的Flume，通过算子连接等pipeline的方式解决了多个MapReduce作业连接处理低效的问题。 流式系统的开始以Storm来介绍。Storm在2011年出现，具备延时短

特邀嘉宾 分享主题 周四见|知数堂公开课系列 之 《企业大数据平台构建之路》 直播现场回顾 直播现场回顾 王晓伟，知数堂《 Hadoop+ELK 》课程讲师 课程涵盖 Hadoop系统 、 NoSQL（Hbase） Mapreduce 编程框架及实践 数据仓库与 数据分析 机器学习 及数据挖掘等内容 系统的学习将助你完善大数据 知识体系 那么，这次公开课或许会是一个起点 通过构建企业大数据平台这个主题 体验王老师睿智风趣的教学风格 或许，这会是你加入知数堂的一个契机 We want you！ 回放视频、PPT讲义已上线，快来围观~ 温馨提示：PPT的内容有限，建议结合PPT观看视频，效果更佳！ 资料发布 本次公开课的讲义，及录播的 视频均 可至腾讯课堂下载、查看，链接： https://zst.ke.qq.com/course/364261 （ 打开页面-查看任务-视频/PPT讲义均可观看） 扫描下方二维码识别 或者点击文末 “ 阅读原文 ” 直达腾讯课堂 扫码加入QQ技术交流群 知数堂公开课互动群 （QQ群号： 793818397） 本文分享自微信公众号 - 老叶茶馆（iMySQL_WX）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my

Hive是什么？ Hive是基于Hadoop之上的数据仓库； Hive是一种可以存储、查询、分析存储在hadoop中的大规模数据 Hive定义了简单的类SQL查询语言，成为HQL,它允许熟悉SQL的用户查询数据 允许熟悉 MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作 Hive没有专门的数据格式 Hive:数据仓库。 Hive:解释器，编译器，优化器等。 Hive运行时，元数据存储在关系型数据库里面。 1. 为什么选择 Hive 基于 Hadoop的大数据的计算/扩展能力 支持 SQL like查询语言 统一的元数据管理 简单编程 2.Hive内部是什么 Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。 本质上讲， Hive是一个SQL解析引擎，Hive可以把SQL查询转换为MapReduce中的job来运行。Hive有一套映射工具

|转载自：简书 |原文链接： http://www.jianshu.com/p/c97ff0ab5f49 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。 MapReduce 是 Google 推广的一个简单的编程模型，它对以高度并行和可扩展的方式处理大数据集很有用。MapReduce 的灵感来源于函数式编程，用户可将他们的计算表达为 map 和 reduce 函数，将数据作为键值对来处理。Hadoop 提供了一个高级 API 来在各种语言中实现自定义的 map 和 reduce 函数。 Hadoop 还提供了软件基础架构，以一系列 map 和 reduce 任务的形式运行 MapReduce 作业。Map 任务 在输入数据的子集上调用 map 函数。在完成这些调用后，reduce 任务 开始在 map 函数所生成的中间数据上调用 reduce 任务，生成最终的输出。 map 和 reduce 任务彼此单独运行，这支持并行和容错的计算。 最重要的是，Hadoop

1.core-site.xml(工具模块)。包括Hadoop常用的工具类，由原来的Hadoopcore部分更名… 1.core-site.xml(工具模块)。包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。 2.hdfs-site.xml(数据存储模块)。分布式文件系统，提供对应用程序数据的高吞吐量，高伸缩性，高容错性的访问。为Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。 namenode+ datanode + secondarynode 划重点：通过系统实训成为一名起薪保底6K的大数据工程师。通过高效系统的学习路线、紧贴市场需求的技能图谱、紧密及时的答疑辅导，能够帮助学员最快入门、精通掌握技术语言，经过系统的实训顺利毕业并推荐到名企就业，实现人生转型。在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：957205962

　　大数据和区块链之间的比较分析！ 　　大数据和区块链两者之间有个共同的关键词：分布式，代表了一种从技术权威垄断到去中心化的转变。 　　分布式存储：HDFS vs.区块 　　大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。 　　另外，大数据对存储技术提出的另一个挑战是多种数据格式的适应能力，因此现在大数据底层的存储层不只是HDFS，还有HBase和Kudu等存储架构。 　　区块链，是比特币的底层技术架构，它在本质上是一种去中心化的分布式账本。区块链技术作为一种持续增长的、按序整理成区块的链式数据结构，通过网络中多个节点共同参与数据的计算和记录，并且互相验证其信息的有效性。 　　从这一点来说，区块链技术也是一种特定的数据库技术。由于去中心化数据库在安全、便捷方面的特性，很多业内人士看好其发展，认为它是对现有互联网技术的升级与补充。 　　分布式计算：MapReduce vs.共识机制 　　大数据的分析挖掘是数据密集型计算，需要巨大的分布式计算能力。节点管理、任务调度、容错和高可靠性是关键技术。 　　Google和Hadoop的MapReduce是这种分布式计算技术的代表，通过添加服务器节点可线性扩展系统的总处理能力(Scale Out)