Spark在Yarn-Cluster部署模式下,程序在提交之后会依次创建三个进程:SparkSubmit,ApplicationMaster和CoarseGrainedExecutorBackend。本文主要在对源码进行分析之后以图解的方式展示CoarseGrainedExecutorBackend的执行流程。
由上图的执行流程可以看出,CoarseGrainedExecutorBackend进程主要有以下几个作用:
(1)向Driver注册Executor进程
(2)在接收到注册成功的message之后,创建Executor对象
(3)接收Driver分配的任务
来源:CSDN
作者:满岛菜鸟
链接:https://blog.csdn.net/weixin_43616627/article/details/104228805