Hadoop优化
主要内容：
① MapReduce跑得慢的原因
② MapReduce/Hadoop优化方法
MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
（6 条-10 条）
1）数据输入
- 合并小文件：在执行MR任务前将小文件进行合并，大量的小文件会产生大量的Map任务，增大Map任务装载次数，而任务的装载比较费时，导致MR变慢；
- 采用 ConbinFileInputFormat 来作为输入，解决输入端大量小文件场景；
2）map阶段
- 增大环形缓冲区大小。由 100m 扩大到 200m；
- 增大环形缓冲区溢写的比例。由 80%扩大到 90%；
- 减少对溢写文件的 merge 次数；
- 不影响实际业务的前提下，采用 combiner 提前合并，减少 I/O；
3）reduce阶段
- 合理设置 map 和 reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致 task 等待，延长处理时间；太多，会导致 map、reduce 任务间竞争资源，造成 处理超时等错误；
- 设置 map、reduce 共存：调整 slowstart.completedmaps 参数，使 map 运行到一定程度后，reduce 也开始运行，减少 reduce 的等待时间；
- 规避使用 reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗；
- 增加每个 reduce 去 map 中拿数据的并行数；
4）IO传输
- 采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器；
- 使用 SequenceFile 二进制文件 ；
5）设置调优参数
- MapTask 默认内存大小为 1G，可以增加 MapTask 内存大小为 4-5g；
- ReduceTask 默认内存大小为 1G，可以增加 ReduceTask 内存大小为 4-5g；
- 可以增加 MapTask 的 cpu 核数，增加 ReduceTask 的 cpu 核数；
- 增加每个 container 的 cpu 核数和内存大小；
- 调整每个 Map Task 和 Reduce Task 最大重试次数；
6）减少数据倾斜
来源：oschina
链接：https://my.oschina.net/u/4419899/blog/4316031