filebeat

文章目录 安装使用ELK6.0 1. Elasticsearch安装准备工作 配置三台机器的hosts文件内容如下： 三台主机安装es 配置es 配置完成后，回到到主节点上，启动es服务。9300端口是集群通信用的，9200则是数据传输时用的： curl查看es集群情况 启动报错： 2. 搭建kibana和logstash服务器 master上安装kibana 安装完成后，对kibana进行配置： 然后在浏览器里进行访问测试 在数据节点上安装logstash,并测试收集系统日志(实践Rsyslog) kibana上查看日志 获取指定索引详细信息： 如果日后需要删除索引的话，使用以下命令可以删除指定索引： es与logstash能够正常通信后就可以去配置kibana了，浏览器访问192.168.1.17:5601，到kibana页面上配置索引： logstash收集nginx日志实战 和收集syslog一样，首先需要编辑配置文件，这一步在logstash服务器上完成 检测配置文件是否有错 进入nginx虚拟主机配置文件所在的目录中，新建一个虚拟主机配置文件： 重启logstash服务，生成nginx日志的索引： 那么这时就可以到kibana上配置该索引 使用beats采集日志 安装完成之后编辑配置文件： 测试可以正常收集日志数据，再次修改配置文件，将filebeat作为一个服务启动：

Event Event作为kubernetes的一个对象资源，记录了集群运行所遇到的各种大事件,有助于排错，但大量的事件如果都存储在etcd中，会带来较大的性能与容量压力，所以etcd中默认只保存最近1小时,而在日常的kubernetes环境排查过程中有需要借助到event所反映的问题提供思路，所以就需要借助其他工具进行持久化存储 查看Event [ root@master events ] # kubectl get event LAST SEEN TYPE REASON OBJECT MESSAGE 5m27s Warning Unhealthy pod/nginx-8458d4c6b6-6t94d Liveness probe failed: Get http://10.244.1.12:9020/ywpt/health: dial tcp 10.244.1.12:9020: connect: connection refused 45s Warning BackOff pod/nginx-8458d4c6b6-6t94d Back-off restarting failed container 收集event的方案 使用开源项目eventrouter进行收集 项目地址: https://github.com/heptiolabs/eventrouter [ root

Filebeat Prospector 复制代码 filebeat.prospectors: input_type: log paths: /var/log/apache/httpd-*.log document_type: apache input_type: log paths: /var/log/messages /var/log/*.log input_type: log|stdin 指定输入类型 paths 支持基本的正则，所有golang glob都支持,支持/var/log/ / .log encoding plain, latin1, utf-8, utf-16be-bom, utf-16be, utf-16le, big5, gb18030, gbk, hz-gb-2312, euc-kr, euc-jp, iso-2022-jp, shift-jis, and so on exclude_lines 支持正则 排除匹配的行，如果有多行，合并成一个单一行来进行过滤 include_lines 支持正则 include_lines执行完毕之后会执行exclude_lines。 exclude_files 支持正则 排除匹配的文件 exclude_files: [’.gz$’] tags 列表中添加标签，用过过滤 filebeat.prospectors: -

filebeat: 10.0.0.41 redis: 10.0.0.42 logstash: 10.0.0.43 elasticsearch: 10.0.0.44 kibana: 10.0.0.45 架构如下: 一、filebeat:10.0.0.41 1、安装filebeat，自己作多个filebeat，我只做一个 cat > /etc/yum.repos.d/artifacts.repo << EOF [elastic-6.x] name=Elastic repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md EOF yum -y install filebeat 2、编辑filebeat的配置文件，并下载nginx产生日志 yum -y install epel* yum -y install nginx vim /etc/filebeat/filebeat.yml #其他配置都可以删除 filebeat.inputs: #收集日志 - type: log #类型

ELK + filebeat集群部署 ELK简介 Elasticsearch Elasticsearch是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合 2.Logstash Logstash是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。 3.Kibana kibana是一个开源和免费的工具，它可以为Logstash和ElasticSearch提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。 官网地址： https://www.elastic.co/cn/downloads/ 注意：配置文件ip要根据实际情况修改 环境准备,三台Linux服务器，系统统一 elk-node1 192.168.3.181 数据、主节点（安装elasticsearch、logstash、kabana、filebeat） elk-node2 192.168.3.182 数据节点（安装elasticsearch、filebeat) elk-node3 192.168.3.183 数据节点（安装elasticsearch、filebeat） 修改hosts文件每台hosts均相同 vim /etc/hosts 192.168.243

概述 EFK可能都不熟悉，实际上EFK是大名鼎鼎的日志系统ELK的一个变种。 在没有分布式日志的时候，每次出问题了需要查询日志的时候，需要登录到Linux服务器，使用命令cat -n xxxx|grep xxxx 搜索出日志在哪一行，然后cat -n xxx|tail -n +n行|head -n 显示多少行，这样不仅效率低下，而且对于程序异常也不方便查询，日志少还好，一旦整合出来的日志达到几个G或者几十G的时候，仅仅是搜索都会搜索很长时间了，当然如果知道是哪天什么时候发生的问题当然也方便查询，但是实际上很多时候有问题的时候，是不知道到底什么时候出的问题，所以就必须要在聚合日志中去搜索（一般日志是按照天来分文件的，聚合日志就是把很多天的日志合并在一起，这样方便查询），而搭建EFK日志分析系统的目的就是将日志聚合起来，达到快速查看快速分析的目的，使用EFK不仅可以快速的聚合出每天的日志，还能将不同项目的日志聚合起来，对于微服务和分布式架构来说，查询日志尤为方便，而且因为日志保存在Elasticsearch中，所以查询速度非常之快，EFK不是一个软件，而是一套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志系统。EFK是三个开源软件的缩写，分别表示：Elasticsearch , FileBeat, Kibana ,