spark性能调优

ぐ巨炮叔叔 提交于 2020-03-09 15:11:42

park性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略。
指定脚本:
/usr/opt/modules/spark/bin/spark-submit
–class com.atguigu.spark.Analysis
–num-executors 80
–driver-memory 6g
–executor-memory 6g
–executor-cores 3
/usr/opt/modules/spark/jar/spark.jar
第一种情况:standalone模式,第二种情况:Yarn
使用原则:你能使用的资源有多大,就尽量去调节到最大的大小(executor的数量:几十个到上百个不等;executor的 内存;exector的cpu个数)
在这里插入图片描述

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!