filebeat

ELK 搭建记录 为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 UI 分析 警告－能够提供错误报告，监控机制 ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。 ELK简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少

收集JAVA格式日志 1 查看Java格式日志 elasticsearch属于Java日志，可以收集elasticsearch作为Java日志范本 [root@node3 ~]# tail -f /usr/local/elasticsearch/logs/my-elktest-cluster.log [2020-01-19T01:57:18,496][INFO ][o.e.t.TransportService ] [node-3] publish_address {192.168.132.133:9300}, bound_addresses {[::]:9300} [2020-01-19T01:57:18,506][INFO ][o.e.b.BootstrapChecks ] [node-3] bound or publishing to a non-loopback address, enforcing bootstrap checks [2020-01-19T01:57:18,531][INFO ][o.e.c.c.Coordinator ] [node-3] cluster UUID [4xt-ZTijTz2oTnlz1gMFjg] [2020-01-19T01:57:19,195][INFO ][o.e.c.s.ClusterApplierService] [node-3]

前面使用json格式收集了nginx的日志，但是再index的显示是filebeat-*，现在使用自定义的index进行配置 但是再使用filebeat的7.4版本以后，有一个巨坑，就是按照网络的很多配置，最后显示的结果依然是filebeat的默认index 一 自定义index 1.1 配置index [root@node4 src]# vim /etc/filebeat/filebeat.yml 会报一个错误 Jan 19 03:23:08 node4 filebeat: Exiting: setup.template.name and setup.template.pattern have to be set if index name is modified 1.2 添加模板 [root@node4 src]# vim /etc/filebeat/filebeat.yml 重启之后，依然没有生效 看到这个日志 Jan 19 03:25:35 node4 filebeat: 2020-01-19T03:25:35.493-0500#011INFO#011[index-management]#011idxmgmt/std.go:394#011Set setup.template.name to '{filebeat-7.4.2 {now/d}-000001}' as ILM

1 Kibana的显示配置 https://demo.elastic.co/app/kibana#/dashboard/welcome_dashboard 环境先处理干净 安装nginx和httpd-tools 2 使用压测工具产生日志 [root@node4 ~]# ab -n 100 -c 100 http://192.168.132.134/ This is ApacheBench, Version 2.3 <$Revision: 1430300 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking 192.168.132.134 (be patient).....done Server Software: nginx/1.16.1 Server Hostname: 192.168.132.134 Server Port: 80 Document Path: / Document Length: 612 bytes Concurrency Level: 100 Time taken for tests: 0.011

什么是EFK？ Elasticsearch：一个分布式、高扩展、高实时的搜索与数据分析引擎。 Filebeat：轻量型日志采集器。 Kibana：是一款开源的数据分析和可视化平台，可以当做是Elasticsearch的可视化操作界面。 EFK可以替代ELK来使用，logstash跑在jvm上，资源消耗比较大，filebeat更轻量，占用资源更少。 下载安装 windows下载后直接解压可直接使用，下载地址如下： Elasticsearch：https://www.elastic.co/downloads/elasticsearch Filebeat：https://www.elastic.co/downloads/beats/filebeat Kibana：https://www.elastic.co/downloads/kibana 使用 1.项目配置 在resources下的application.yml添加配置： logging : config : classpath : logback.xml file : ad - sponsor.log 在resources中添加 logback.xml，内容如下： < ? xml version = "1.0" encoding = "UTF-8" ? > < configuration > < ! -- appender

在今天的文章中，我们来详细地描述如果使用Filebeat把MySQL的日志信息传输到Elasticsearch中。为了说明问题的方便，我们的测试系统的配置是这样的： 我有一台MacOS机器。在上面我安装了Elasticsearch及Kibana。在这个机器里，我同时安装了一个Ubuntu 18.04的虚拟机。在这个Ubunutu机器上，我安装了MySQL及Filebeat。它们的IP地址分别显示如上。针对你们自己的测试环境，你们的IP地址可能和我的不太一样。 准备工作 安装Elasticsearch 如果大家还没安装好自己的Elastic Stack的话，那么请按照我之前的教程“ 如何在Linux，MacOS及Windows上进行安装Elasticsearch ” 安装好自己的Elasticsearch。由于我们的Elastic Stack需要被另外一个Ubuntu VM来访问，我们需要对我们的Elasticsearch进行配置。首先使用一个编辑器打开在config目录下的elasticsearch.yml配置文件。我们需要修改network.host的IP地址。在你的Mac及Linux机器上，我们可以使用: $ ifconfig 来查看到我们的机器的IP地址。针对我的情况，我的机器的IP地址是：192.168.0.100。 我们也必须在elasticsearch

环境 centos7.x ### 必须需要2.7+版本python centos7 默认自带 # 需要用到easy_install命令,假如你是centos6.x，那你需要安装对应版本 python2.7.5 安装 很简单执行以下命令就能完成安装，很快 easy_install supervisor 安装完成后会生成以下命令,可以直接使用 /usr/bin/echo_supervisord_conf /usr/bin/pidproxy /usr/bin/supervisorctl /usr/bin/supervisord 使用 初始化配置 使用命令 echo_supervisord_conf ## conf.d 文件得作用为了不破坏主配置文件完整性和结构性而存在得。有点模块化得味道。不用我多介绍了吧。后续所有应用脚本全部配置在此目录下,所有配置以.conf为后缀 mkdir -p /etc/supervisor/conf.d # 此命令将配置写入supervisord.conf 这个文件 echo_supervisord_conf > /etc/supervisor/supervisord.conf 然后编辑 supercisord.conf 末尾添加如下配置，指向 conf.d 目录 [ include ] files = conf.d/*.conf 然后启动

目录 使用docker搭建elk filebeat安装与配置 docker容器设置 参考文章 首发地址 使用docker搭建elk 1、使用docker-compose文件构建elk。文件如下： version: '3' services: elk: image: sebp/elk:640 ports: - "5601:5601" - "9200:9200" - "5044:5044" environment: - ES_JAVA_OPTS=-Xms512m -Xmx512m volumes: - ~dockerdata/elk:/var/lib/elasticsearch 2、执行docker-compose up -d 启动elk。可以使用docker logs 命令查看elk启动日志。启动成功后打开浏览器访问 http://127.0.0.1:5601 filebeat安装与配置 关于filebeat本文也不做过多介绍。只讲解安装与配置。 1、filebeat的docker-composep version: '3' services: filebeat: image: prima/filebeat:6 #restart: always volumes: - ./config/filebeat.yml:/filebeat.yml - ~/dockerdata/filebeat

1、安装docker前安装pip sudo yum -y install epel-release sudo yum install python-pip 2、安装docker #安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 #添加docker yum源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo #可选操作：允许拓展最新的不稳定的repository yum-config-manager --enable docker-ce-edge #安装Docker yum -y install docker-ce #安装docker-compose sudo pip install -U docker-compose #启动Docker systemctl start docker 安装ELK: 1、下载镜像 这里我们使用elk集成镜像，地址： https://hub.docker.com/r/sebp/elk/tags [root@centos-mq ~]# docker pull sebp/elk:660 注：660为elk版本 2、启动 [root@centos-mq ~]

常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等，那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具? Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 优势 Logstash 主要的有点就是它的灵活性，主要因为它有很多插件，详细的文档以及直白的配置格式让它可以在多种场景下应用。我们基本上可以在网上找到很多资源，几乎可以处理任何问题。 劣势 Logstash 致命的问题是它的性能以及资源消耗(默认的堆大小是 1GB)。尽管它的性能在近几年已经有很大提升，与它的替代者们相比还是要慢很多的。这里有 Logstash 与 rsyslog 性能对比以及Logstash 与 filebeat 的性能对比。它在大数据量的情况下会是个问题。 另一个问题是它目前不支持缓存，目前的典型替代方案是将 Redis 或 Kafka 作为中心缓冲池： 典型应用场景 因为 Logstash 自身的灵活性以及网络上丰富的资料，Logstash 适用于原型验证阶段使用，或者解析非常的复杂的时候。在不考虑服务器资源的情况下，如果服务器的性能足够好，我们也可以为每台服务器安装 Logstash 。我们也不需要使用缓冲