MapReduce_input阶段

孤街浪徒 提交于 2020-03-18 13:45:34

Input阶段将数据节点上的数据进行反序列化,然后划分切片。

数据切片:(1)一个job的map阶段并行度由客户端在提交job时的切片数决定

     (2)每个切片分配一个MapTask并行实例处理

     (3)默认情况下,切片的大小等于BlockSize,也就是数据块大小

 

 

 

     

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!