hive执行任务MR时卡死/假死

这一生的挚爱 提交于 2019-12-29 19:26:53

出现该问题的设备:

在云服务器上搭建hadoop集群,服务器为一核,2g内存。
普通游戏本 运行虚拟机搭建hadoop集群。

问题表述:

安装好jdk,hadoop,hive。在eclipse可以正常执行mapreduce任务,在hive上也可以至执行无MR任务的语句(like:select * from test)
,但是在hive上执行有MR任务的语句(like:select * from test order by id),程序卡死,卡死,卡死。
长达几十分钟卡死,最终程序被强制kill。

在这里插入图片描述

问题原因:

专业名词没有。
可能与内核数量和运行内存有关

解决办法:

修改hadoop/etc/hadoop/mapred-site.xml



<configuration>
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://master:8001</value>
<final>true</final>
</property>
</configuration>
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!