spark.shuffle.manager:hash、sort、tungsten-sort(自己实现内存管理)spark.shuffle.sort.bypassMergeThreshold:200
spark 1.2.x版本以后,默认的shuffle
manager,是什么呢?
SortShuffleManager。
SortShuffleManager与HashShuffleManager两点不同:
1、SortShuffleManager会对每个reduce
task要处理的数据,进行排序(默认的)。
2、SortShuffleManager会避免像HashShuffleManager那样,默认就去创建多份磁盘文件。一个task,只会写入一个磁盘文件,不同reduce
task的数据,用offset来划分界定。之前讲解的一些调优的点,比如consolidateFiles机制、map端缓冲、reduce端内存占比。
这些对任何shuffle manager都是有用的。
总结:
如何来选择?
1、需不需要数据默认就让spark给你进行排序?就好像mapreduce,默认就是有按照key的排序。
如果不需要(不需要排序)的话,其实还是建议搭建就使用最基本的HashShuffleManager,因为最开始就是考虑的是不排序,换取高性能;
2、什么时候需要用sort
shuffle manager?
如果你需要你的那些数据按key排序了,那么就选择这种吧,
而且要注意,reduce
task的数量应该是超过200的,这样sort、merge(多个文件合并成一个)的机制,才能生效把。
但是这里要注意,你一定要自己考量一下,有没有必要在shuffle的过程中,就做这个事情,毕竟对性能是有影响的。
3、如果你不需要排序,而且你希望你的每个task输出的文件最终是会合并成一份的,你自己认为可以减少性能开销;
可以去调节bypassMergeThreshold这个阈值,比如你的reduce
task数量是500,默认阈值是200,
所以默认还是会进行sort和直接merge的;可以将阈值调节成550,不会进行sort,按照hash的做法,每个reduce
task创建一份输出文件,最后合并成一份文件。
(一定要提醒大家,这个参数,其实我们通常不会在生产环境里去使用,也没有经过验证说,这样的方式,到底有多少性能的提升)
4、如果你想选用sort
based shuffle manager,而且你们公司的spark版本比较高,是1.5.x版本的,那么可以考虑去尝试使用tungsten-sort
shuffle manager。看看性能的提升与稳定性怎么样。
总结:
1、在生产环境中,不建议大家贸然使用第三点和第四点:2、如果你不想要你的数据在shuffle时排序,那么就自己设置一下,用hash
shuffle manager。3、如果你的确是需要你的数据在shuffle时进行排序的,那么就默认不用动,默认就是sort
shuffle manager;
或者是什么?如果你压根儿不care是否排序这个事儿,那么就默认让他就是sort的。调节一些其他的参数(consolidation机制)。(80%,都是用这种)
spark.shuffle.manager:hash、sort、tungsten-sortnew
SparkConf().set("spark.shuffle.manager",
"hash")
new SparkConf().set("spark.shuffle.manager",
"tungsten-sort")// 默认就是,new
SparkConf().set("spark.shuffle.manager",
"sort")new SparkConf().set("spark.shuffle.sort.bypassMergeThreshold",
"550")
【兼顾合一,又不排序,性能较高】
大数据项目跟传统的项目区别
50%代码coding + 50%性能调优、troubleshooting、数据倾斜的解决。
关注以下三点:
1.什么时候去调优?
2.怎么调优? (看UI,调参数)
3.调优以后大致的效果如何?
来源:oschina
链接:https://my.oschina.net/u/2985293/blog/2876210