Mapreduce和yarn-内存设置
hadoop2.5,kylin2.1，ambari 在使用kylin的cube做build数据时，运行mapreduce的job，总会报jvm内存溢出。 于是就想到优化配置参数，查了很多资料，最后总结了一下。 1.Yarn里只有一个RM（ResourceManager）作为集群管理和统一资源管理和调度 AM（ApplicationMaster）：负责应用程序管理 NM（NodeManager）：负责单节点资源管理 Scheduler：负责集群调度 Container：对（节点，内存，CPU）等进行资源抽象 以上： 设计到内存配置 yarn： yarn.nodemanager.resource.memory.mb yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb mapreduce: mapreduce.map.memory.mb mapreduce.reduce.memory.mb mapreduce.reduce.java.opts mapreduce.map.java.opts mapreduce.task.io.sort.mb 在配置上：例如 通过 free -g 查看内存：20g yarn.nodemanager.resource.memory.mb=16g yarn