Desc: impala catalogd 模块需要较多内存,具体和数据量、项目数、数据存储时长直接相关,因此一般都是大数据量的集群版出现此问题,单机版正常情况下不会出现
一、问题背景
出现该问题会有几个现象:
1.查看 impala 的 catalog server 的日志,发现有类似如下的 OOM 报错信息
2.impala 的 catalogd 的监控状态出现异常退出(即进程被 kill,但是某些较低 CDH 版本因为 bug 不会被 kill,见 下面 的说明)
然后需要通过以下方式确认 OOM 的时候是否真的被 kill 了:
找到 catalogd 的日志目录,一般是 /data/cloudera/logs/catalogd/
查看该目录下是否有 killed_by_killparent_on_oom 文件,且文件内容的日期(即被 kill 的日期)是最近。如果是说明确实是被 OOM Kill 了。
[root@impala-02 catalogd]# cat killed_by_killparent_on_oom
Mon May 14 12:53:00 CST 2018
二、操作步骤
调整 catalogd 模块的内存,每次确认 catalogd 因为 OOM 挂掉,可以尝试增加 1GB 内存并重启
注意:在同构部署的情况下(即没有单独元数据节点),该值最高不超过 8GB,如果超过就需要扩容了
来源:CSDN
作者:Abson_Lu
链接:https://blog.csdn.net/Abson_Lu/article/details/104521964