Spark也有数据本地化的概念(Data Locality),这和MapReduce的Local Task差不多,如果读取HDFS文件,Spark则会根据数据的存储位置,分配离数据存储最近的Executor去执行任务。
这么理解没错,我搭建的Spark集群情况是这样:
每台DataNode节点的HDFS集群,我在每个DataNode上都部署了一个Spark Worker,并且,启动Spark Application的时候,每个Worker都有一个Executor,这样理论上来说,只要读取HDFS文件,Spark都可以使用本地任务来读取(NODE_LOCAL)。
其中任务本地化后再器spark 提交任务界面存在。
通过分析源码 :spark 再sparkcontext 阶段已经再对应的wokers 上启动了excuter (里面指定了具体的内存和cpu ) 但通过源码分析都没有根据数据的具体位置去选择性的启动excutor
具体代码为
spark 1.3.1
spark 1.6.1 的excutor 资源分配为:
没有找到具体的执行代码
推测 为: 两种任务shuffleTask 和 resultTask 出现新的日志任务调度 (源码查看)
来源:CSDN
作者:lianchaozhao
链接:https://blog.csdn.net/weixin_40809627/article/details/103496860