一、介绍

1、安装省略，因为现在基本上都用大数据集成平台：cdh，hdp等
2、spark-submit脚本是spark提供的一个用于提交任务的脚本，通过它的--master 参数可以很方便的将任务提交到对应的平台去执行，比如yarn、standalone、mesos等。
3、spark-submit会在提交任务时，把集群大部分的配置文件都打包在__spark_conf__.zip中，包括core-site.xml、hdfs-site.xml、yarn-site.xml、mapreduce-site.xml、hbase-site.xml、hive-site.xml等。然后将其和工程依赖的第三方jar（flume、kafka、以及com.apache.org.lang3等）一同发送到spark的资源存放目录下,默认是：/user/root/.sparkStaging/xxxId/。
4、上述的__spark_conf__.zip还包含一个重要的配置文件__spark_conf__.properties，里面包含着spark-submit脚本的启动参数

在main类中SparkConf conf = new SparkConf();时会加载这个配置文件，所以不再需要执行conf.setMaster("yarn");

如图：
5、有了上面配置文件和jar，就可以很方便的访问

hive（hiveContext）

hbase（Configuration conf = HBaseConfiguration.create()）

hdfs等组件

二、submit-submit参数说明

spark-submit \
	--master yarn \              		运行的模式
    --deploy-mode cluster \
    --name spark-test \          		在yarn界面看到的名字，如果不设置，那就是下面--class的值
	--driver-memory 1g \         		driver的内存
	--executor-memory 1g \       		每一个executor的内存
	--executor-cores 1 \         		executor数量
    --jars xxx.jar, xxx.jar, xxx.jar    第三方jar，比如hbase，flume、apache的一些工具jar
	--conf mysql.url=jdbc:mysql://localhost:3306/hive?xxxx \   只能设置spark内定的参数（这个无效）
	--files /conf.properties \       	发送到集群的配置文件，可以直接new fileInputstream("conf.properties")来获取
	--class com.bigdata.spark.core.SparkRunTest \     主类
	/study-spark-core-4.0.0.jar \    	自己工程的jar
	10

三、spark-submit提交任务的流程

不管是什么脚本，只要是java写的工程，他的启动脚本最终都会调用某个类，然后在通过这个类来启动工程，或者提交任务到集群再起动，spark-submit也是同样的道理，他的流程如下：

/usr/bin/spark-submit

==> /appslog/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/bin/spark-submit

==> 执行spark-core-XXx.jar里面的 org.apache.spark.deploy.SparkSubmit （进程的形式）

==> 直接执行org.apache.spark.deploy.SparkSubmit$.main(args) (普通方法的形式)

==> 通过--master参数值来判断到底调用那个类来提交到对应的集群，对应如下

--master yarn  	 	==>	org.apache.spark.deploy.yarn.Client
--master spark://XX ==>	org.apache.spark.deploy.Client
--master mesos 	==>	org.apache.spark.deploy.rest.RestSubmissionClient
--master local

流程查看：

1、sh -x /usr/bin/spark-submit 里面会有一句
2、sh -x /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/bin/../lib/spark/bin/spark-submit
3、进入ide查看org.apache.spark.deploy.SparkSubmit源码（main方法，很长）

四、总结

1、--files发送过来的文件，可以直接读取，不需要路径。比如上述将配置文件发送到.sparkStaging/XXXID/下，可以直接通过如下方式获取，这样参数就不需要再spark-submit最后那里一个个繁琐的添加进去
```
  Properties pros = new Properties();
  pros.load(new FileInputStream("conf.properties"));
```
2、--jars 和 --files后面都不能是文件夹，需要将所有的jar的绝对路劲，通过“逗号”拼接，但是开头不能是逗号，优先发送--jars的jar，如果系统的jar有冲突，那么不会再发送，也就是以用户lib文件夹下的为准
3、new SparkConf()时会加载__spark_conf__.properties，所以不需要再设置master、depoly-mode等参数