park性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略。
指定脚本:
/usr/opt/modules/spark/bin/spark-submit
–class com.atguigu.spark.Analysis
–num-executors 80
–driver-memory 6g
–executor-memory 6g
–executor-cores 3
/usr/opt/modules/spark/jar/spark.jar
第一种情况:standalone模式,第二种情况:Yarn
使用原则:你能使用的资源有多大,就尽量去调节到最大的大小(executor的数量:几十个到上百个不等;executor的 内存;exector的cpu个数)
来源:CSDN
作者:shally2759
链接:https://blog.csdn.net/shally2759/article/details/104749490