图解Spark中CoarseGrainedExecutorBackend的执行流程

喜欢而已 提交于 2020-02-11 06:25:48

Spark在Yarn-Cluster部署模式下,程序在提交之后会依次创建三个进程:SparkSubmit,ApplicationMaster和CoarseGrainedExecutorBackend。本文主要在对源码进行分析之后以图解的方式展示CoarseGrainedExecutorBackend的执行流程。
在这里插入图片描述
由上图的执行流程可以看出,CoarseGrainedExecutorBackend进程主要有以下几个作用:
(1)向Driver注册Executor进程
(2)在接收到注册成功的message之后,创建Executor对象
(3)接收Driver分配的任务

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!