ELK日志监控平台搭建记录

前提是你 提交于 2020-01-23 23:47:39

1:前提

:服务器已搭建java环境 1.8

2:elk步骤

:首先搭建ES做数据存储,然后搭建Kibana做数据可视化。最后搭建Logstash做数据流转

::1:搭建ES

       1:在服务器根目录下 创建名为ELK文件夹  1:cd / 2: mkdir elk 3:cd elk

       2: 下载ES包:wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz

       3:解压之  tar -zxvf elasticsearch-6.4.3.tar.gz 整体目录如下

 修改相关文件配置。由于这个服务器是1核1G的。es默认配置-Xms 和-Xmx都是1G 一般是需要启动将其增加到4G左右。但是

服务器只有1G,还搭了XXL和别的东西 就给了512M 不然无法启动。

然后需要修改系统的虚拟内存大小  vim /etc/sysctl.conf  修改vm.max_map_count=262144 。未定义该参数则新增。

推出vim 后执行 sysctl -p  使其立即生效。

由于ES无法使用root 账户登录 所以新增一个用户 并赋予es文件夹权限 add user useres  ;chown -R useres  /elk/elasticsearch-6.4.3

然后启动es 执行es文件夹 bin 目录下 elasticsearch即可 started即为启动成功

外网访问 9200端口 即可验证

ES搭建成功 。开始搭建kibana

2:kibana
 

到elk目录下下载kibana压缩包 并解压

cd /elk;wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz ;tar -zxvf kibana-6.4.3-linux-x86_64.tar.gz 。解压后目录如下

修改目录下配置  cd config ;vim kibana.yml . 到文件末新增属性

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://ES地址:9200"
kibana.index: ".kibana"

保存退出

启动kibana ../bin/kibana (好不容易截图成功了==之前老进不去 因为内存太小,ES跑挂了。重启后马上刷新kibana.后面服务器换了公司的测试服务器。因为配置稍微好一些。而且公司刚好也需要搭ELK)

 

3:搭建logstash  (一般搭建在项目部署的服务器上)

下载解压wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz; tar zxvf  logstash-6.4.3.tar.gz 解压后目录如下

 

修改config配置

cd config ; vim logstash-sample.conf

这段内容是百度后修改的==主要内容为输入输出 output 以及过滤器 input表示数据源  path是一个数组,定义需要同步的内容 这里是同步日志文件。最好用绝对路径 输入日志的路径(支持通配符)。output输出位置。这里定义的是输出到es 配置es地址 index 是es索引库最好根据项目名+日期来建 。user是具有es权限的用户 。即启动ES时 新增的USER password 是user的password.(中间的过滤器脚本我也不太熟,就直接加上了)

这样ELK就全部搭建好了。

后面一些配置可以全部到kibana可视化界面操作了

点击如图所示Management->index Patterns-->Create Index Pattern

输入新建的索引名 下一步 选择@Timestamp ->create Index Pattern 就可以在kibana上查询日志文件了。

 

 

 

 

 

3:搜索测试

设置日志产生时间 以及索引库 加要搜索的关键词 如 “留言” 开始搜索 即能查询到结果

 

 

ELK搭建日志监控平台成功。也可以通过修改或新增logstash的input做jdbc或者kafka 数据源。做kafka消息监控 或sql监控等。

或者修改output指定kafka 。当发生某个事件(input) 去发一个MQ等

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!