MapReduce总结

1. MapReduce概述：

MapReduce是一个分布 式运算程序的编程框架，是用户开发“ 基于Hadoop的
数据分析应用”的核心框架。
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个
完整的分布式运算程序，并发运行在一个Hadoop集群 上。

1.2 MapReduce优缺点

优点

1. MapReduce易于编程
   它简单的实现- -些接口，就可以完成一一个分布式程序，这个分布式程序可
   以份布到大量廉价的PC机器上运行。也就是说你写一个分布式程序， 跟写
   -一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编
   程变得非常流行。
   2.良好的扩展性
   当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展
   它的计算能力。
   3.高容错性
   MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上,这就要求
   它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务
   转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不
   需要人工参与，而完全是由Hadoop内部完成的。
   4.适合PB级以上海量数据的离线处理
   可以实现上千台服务器集群并发工作，提供数据处理能力。

缺点
1.不擅长实时计算
MapReduce无法像MySQL- -样,在毫秒或者秒级内返回结果。
2.不擅长流式计算
流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能
动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。
3.不擅长DAG (有向图)计算
多个应用程序存在依赖关系，后- -个应用程序的输入为前一一个的输出。在
这种情况下，MapReduce并不是不能做,而是使用后，每个MapReduce作业
的输出结果都会写入到磁盘，会造成大量的磁盘IO,导致性能非常的低下。

1.3 MapReduce核心思想

1）分布式的运算程序往往需要分成至少2个阶段。
2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。
3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。
4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。
总结：分析WordCount数据流走向深入理解MapReduce核心思想。

1.4 MapReduce进程

一个 完整的MapReduce程序在分布式运行时有三E类实例进程:

1. MrAppMaster: 负责整个程序的过程调度及状态协调。
2. MapTask:
   负责Map阶段的整个数据处理流程。
3. ReduceTask:
   负责Reduce段的整个数据处理流程。

1.6 常用数据序列化类型

1.7 MapReduce编程规范

1. Mapper阶段
   (1)用户自定义的Mapper要继承自己的父类
   (2) Mapper的输入数据是KV对的形式(KV的类型可自定义)
   (3) Mapper中的业务逻辑写在map0方法中
   (4) Mapper的输出数据是KV对的形式(KV的类型可自定义)
   (5) map0方法(MapTask进程)对每一个<K,V>调用一 -次
   MapR educe编程规范
2. Reducer阶段
   (1)用户自定义的Reducer要继承自己的父类
   (2) Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
   (3) Reducer的业务逻辑写在reduce0方法中
   (4) ReduceTask进程对每-组相同k的<k,v>组调用一 次reduce0方法
3. Driver阶 段
   相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是
   封装了MapReduce程序相关运行参数的job对象

第2章 Hadoop序列化

2.1序列化概述.
2.1.1什么是序列化
序列化就是把内存中的对象，转换成字节序列(或其他数据传输协议)以便
于存储到磁盘(持久化)和网络传输。
反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化
数据，转换成内存中的对象。
2.1.2为什么要序列化
-般来说，“活的” 对象只生存在内存里，关机断电就没有了。而且"活的”
对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序
列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。
2.1.3为什么不用Java的序列化
Java的序列化是一个重 量级序列化框架( Serializable)，-个对象被序列化后,会
附带很多额外的信息(各种校验信息，Header, 继承体系等)，不便于在网络中高效
传输。所以，Hadoop自 己开发了一套序列化机制 (Writable) 。
Hadoop序列化特点:
(1) 紧凑:敲使用存储空间。
(2)快速:读写数据的额外开销小。
(3)可扩展:随着通信协议的升级而可升级
(4)互操作:支持多语言的交互

2.2 自定义bean对象实现序列化接口（Writable）

在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部
传递一个bean对象，那么该对象就需要实现序列化接口。
具体实现bean对象序列化步骤如下7步。
(1)必须实现Writable接口
(2)反序列化时，需要反射调用空参构造函数，所以必须有空参构造

第3章 MapReduce框架原理

3.1 InputFormat数据输入

3.1.1 切片与MapTask并行度决定机制

1.问题引出
MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。
思考: 1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数
据，也启动8个MapTask，会提高集群性能吗?MapTask并行任务是否越多越好呢?哪些因
素影响了MapTask 并行度?
2. MapTask 并行度决定机制
数据块: Block 是HDFS物理上把数据分成一块一块。
数据切片:数据切片只是在逻辑上对输入进行分片,并不会在磁盘上将其切分成片进行
存储。


2．FileInputFormat切片源码解析(input.getSplits(job))
(1)程序先找到你数据存储的目录。
(2)开始遍历处理(规划切片)目录下的每-个文件
(3)遍历第一一个文件ss txt
a)获取文件大小fs. sizeOf(ss .txt)
b)计算切片大小
computeSplitSize(Math max(minSize, Math min(maxSize ,blocksze))=blocksize=1 28M
c)默认情况下，切大小=blocksize
d)开始切，形成第1个切片: ss.txt- -0:128M第2个切片ss.txt- -128:256M第3个切片ss xt- 256M:300M
(每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1. 1倍就划分-块切片)
e)将切片信息写到一个切片规划文件中
f)整个切片的核心过程在getSplit(方法中完成
g) InputSplit只绿了切片的元数据信息，比如起始位置、长度以及 所在的节点列表等。
(4)提交切片规划文件到YARN上，YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数。

3.1.3 FileInputFormat切片机制

FileInputFormnat切片大小的参数配置
(1)源码中计算切片大小的公式
Math .max(minSize, Math min(maxSize, blockSize));
mapreduce. input fileinputformat .split minsize=1默认值为1
mapreduce input fileinputformat split. maxsize= Long MAXValue默认值Long MAXValue
因此，默认情况下，切片大小=blocksize。
(2)切片大小设置
maxsize (切片最大值) : 参数如果调得比blockSize小， 则会让切片废小，且就等于配置的这个参数的值。
minsize (切片最小值) : 参数调的比blockSize大， 则可以让切片变得比blockSize还大。
(3)获取切片信息API
//获取切片的文件名称
String name = inputSplit.getPath () . getName() ;
//根据文件类型获取切片信息
FileSplit inputSplit = (Fi leSplit) context. getInputSplit() ;

3.1.4 CombineTextInputFormat切片机制

框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。
1、应用场景：
CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。
2、虚拟存储切片最大值设置
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。
3、切片机制
生成切片过程包括：虚拟存储过程和切片过程二部分。

（1）虚拟存储过程：
将输入目录下所有文件大小，依次和设置的setMaxInputSplitSize值比较，如果不大于设置的最大值，逻辑上划分一个块。如果输入文件大于设置的最大值且大于两倍，那么以最大值切割一块；当剩余数据大小超过设置的最大值且不大于最大值2倍，此时将文件均分成2个虚拟存储块（防止出现太小切片）。
例如setMaxInputSplitSize值为4M，输入文件大小为8.02M，则先逻辑上分成一个4M。剩余的大小为4.02M，如果按照4M逻辑划分，就会出现0.02M的小的虚拟存储文件，所以将剩余的4.02M文件切分成（2.01M和2.01M）两个文件。
（2）切片过程：
（a）判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片。
（b）如果不大于则跟下一个虚拟存储文件进行合并，共同形成一个切片。
（c）测试举例：有4个小文件大小分别为1.7M、5.1M、3.4M以及6.8M这四个小文件，则虚拟存储之后形成6个文件块，大小分别为：
1.7M，（2.55M、2.55M），3.4M以及（3.4M、3.4M）
最终会形成3个切片，大小分别为：
（1.7+2.55）M，（2.55+3.4）M，（3.4+3.4）M

3.2 MapReduce工作流程

2．流程详解
上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下：
1）MapTask收集我们的map()方法输出的kv对，放到内存缓冲区中
2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
3）多个溢出文件会被合并成大的溢出文件
4）在溢出过程及合并的过程中，都要调用Partitioner进行分区和针对key进行排序
5）ReduceTask根据自己的分区号，去各个MapTask机器上取相应的结果分区数据
6）ReduceTask会取到同一个分区的来自不同MapTask的结果文件，ReduceTask会将这些文件再进行合并（归并排序）
7）合并成大文件后，Shuffle的过程也就结束了，后面进入ReduceTask的逻辑运算过程（从文件中取出一个一个的键值对Group，调用用户自定义的reduce()方法）
3．注意
Shuffle中的缓冲区大小会影响到MapReduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。
缓冲区的大小可以通过参数调整，参数：io.sort.mb默认100M。
4．源码解析流程
context.write(k, NullWritable.get());
output.write(key, value);
collector.collect(key, value,partitioner.getPartition(key, value, partitions));
HashPartitioner();
collect()
close()
collect.flush()
sortAndSpill()
sort() QuickSort
mergeParts();

collector.close();

3.3.1 Shuffle机制

3.3.2 Partition分区

Partition分区
1、问题引出
要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果.
按照手机归属地不同省份输出到不同文件中(分区)
2、默认Partitioner分区
public class HashPartitioner<K, V> extends Partitioner<K, V> {
public int getPartition(K key, V value, int numReduceTasks) {
return (key . hashCode() & Integer .MAX_ VALUE) 号numReduceTasks ;
}
默认分区是根据key的hashCode对ReduceTasks个数取模得到的。用户没法
控制哪个key存储到哪个分区。
Partition分区
4、分区总结
(1)如果ReduceTask的数量> getPartition的结果数，则会多产机个空的输出文件par-00x;
(2)如果1<ReduceTask的数量<getPartition的结果数， 则有一部分分区数据无处安放， 会Exception;
(3)如果ReduceTask的数量=1, 则不管MapTask端输出多少个分区文件,最终结果都交给这一一个
ReduceTask,最终也就只会产生一个结果文件par-0000;
(4) 分区号必须从零开始，逐-累加。
5.案例分析
例如:假设自定义分区数为5,则
(1) job.setNumReduceTask<(1);会正常运行， 只不过会铲生一个输出文件
(2) job,setNumReduceasks(2);会报错
(3) job.setNumReduceTasks(6);大于5, 程序会正常运行,会产生空文件

3.3.4 WritableComparable排序

排序概述:
排序是MapReduce框架中最重要的操作之一。
MapTask和R educeTask均会对数据按照key进行排序。该操作属于
Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是
否需要。
默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。
排序概述
对于MapTask，它会将处理的结果暂时放到环形缓冲区中,当环形缓冲区使
用率达到一定阈值后，再对缓冲区中的数据进行一次快速排序， 并将这些有序数
据溢写到磁盘上，而当数据处理完毕后,它会对磁盘上所有文件进行归并排序。
对于ReduceTask,它从每个MapTask远程拷贝相应的数据文件,如果文件大
小超过一定阈值，则溢写磁盘上，否则存储在内存中。如果磁盘上文件数目达到
一定阈值，则进行- -次归并排序以生成一个更大文件; 如果内存中文件大小或者
数目超过一定阈值，则进行- -次合并后将数据溢写到磁盘上。当所有数据拷贝完.
毕后，ReduceTask统- 对内存和磁盘上的所有数据进行一次归并排序。
1.排序的分类
排序分类
(1)部分排序
MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序。
(2)全排序
最终输出结果只有一一个文件，且文件内部有序。实现方式是只设置- -个ReduceTask。 但该方法在
处理大型文件时效率极低，因为-台机器处理所有文件，完全丧失了MapReduce所提供的并行架构。
(3)辅助排序: (GroupingComparator分组)
在Reduce端对key进行分组。应用于:在接收的key为beam对象时，想让-个或几个字段相同(全部
字段比较不相同)的key进 入到同一个reduce方法时， 可以采用分组排序。
(4)二次排序
在自定义排序过程中，如果compareIo中的判断条件为两个即为= 次排序。

来源：CSDN

作者：Pioneer_1

链接：https://blog.csdn.net/Pioneer_1/article/details/103746565