filebeat

RabbitMQ是一个开放源消息代理，创建于2007年以实现AMQP，并且在过去的十二年中，通过不断增加的插件列表，它已包括HTTP，STOMP，SMTP和其他协议。它也是Kafka的一个强劲的竞争者。在今天的文章中，我们将详述如何使用Elastic Stack来监控RabbitMQ。 RabbitMQ简介 RabbitMQ是消息队列软件，也称为消息代理或队列管理器。 简单地说； 它是定义队列的软件，应用程序连接到该队列以传输一条或多条消息。 一条消息可以包含任何种类的信息。 例如，它可能具有有关应在另一个应用程序（甚至可能在另一个服务器上）上启动的过程或任务的信息，或者可能只是一条简单的文本消息。 队列管理器软件存储消息，直到接收应用程序连接并从队列中取出消息为止。 接收应用程序然后处理该消息。 消息队列的基本体系结构很简单-有一些称之为生产者（producers）的客户端应用程序，它们可以创建消息并将其传递到代理（消息队列）。 其他应用程序（称为消费者，也即consumers）连接到队列并订阅要处理的消息。 软件可以充当消息的生产者或消费者，或者既充当消息的消费者又充当生产者。 存储在队列中的消息将被存储，直到消费者检索到它们为止。 在下面我们来具体介绍如何使用Elastic Stack来把我们想要的RabbitMQ日志导入到Elastic Stack中，并对日志进行分析。

本文与前文是有关联的，之前的两篇文章客官可以抬腿出门右转 导读 ， ELK 之前端 ， ELK 之分布式发 #前端和消息队列搞定之后，我们需要安装数据采集工具filebeats和数据过滤机运输工具Logstash，一般情况我们都使用filebeats 用来收集日志文件,我自定义了一个log文件，文件内容如下： 55.3.244.1 GET /index.html 15824 0.043 55.3.244.1 GET /index.html 15824 0.043 文件位置放到/tmp/test.log cd /opt/elk/filebeat-6.2.2-linux-x86_64 #filebeat 的配置文件大体上分为两部分，输入部分和输出部分，输入指定输入源即可，输出可以选择直接到elasticsearch，logstash或者是消息队列（redis&kafka）等，本文采用kafka 作为消息队列； FIlebeat 配置文件内容详解： vi filebeat.yml filebeat.prospectors: #日志类型 - type: log enabled: True # 日志路径可以写多个，支持通配符 paths: - /tmp/test.log #设置字符集编码 encoding: utf-8 #文档类型 document_type: my-nginx-log

#=========================== Filebeat prospectors ============================= filebeat.prospectors: - type: log #指定文件的输入类型log(默认)或者stdin。 enabled: true # 允许采集器配置内容 paths: # paths指定要监控的日志 - /var/log/*.log #- c:\programdata\elasticsearch\logs\* #exclude_lines: ["^DBG"] # 在输入中排除符合正则表达式列表的那些行 #include_lines: ["^ERR", "^WARN"] # 包含输入中符合正则表达式列表的那些行默认包含所有行include_lines执行完毕之后会执行exclude_lines。 #exclude_files: [".gz$"] # 忽略掉符合正则表达式列表的文件默认为每一个符合paths定义的文件都创建一个harvester。 # 向输出的每一条日志添加额外的信息比如“level:debug”方便后续对日志进行分组统计。默认情况下会在输出信息的fields子目录下以指定的新增fields建立子目录例如fields.level。 #fields: # level: debug # review

前言 前几篇我们介绍了项目中 如何使用logback组件记录系统的日志情况 ；现在我们的系统都是分布式的，集群化的，那就代表着**我们的应用会分布在很多服务器上面；**那应用的日志文件就会分布在各个服务器上面。 问题 突然有一天我们系统出现了问题，我们第一时间想到的是 先要判断到底哪个服务出现了问题 ；我们的技术人员就连接生产环境服务器，查看服务器上面的应用日志。 那么多的服务器，技术人员这个时候就会很抓狂 ，一个个的查看分析日志，是比较愚蠢的方法。那有什么好的方式呢？今天老顾给大家介绍常规的方案。 ELK方案 ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案 ，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES ，它是一个 实时的分布式搜索和分析引擎 ，它可以用于全文搜索，结构化搜索以及分析。它是一个 建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎 ，使用 Java 语言编写。 Logstash是一个具有实时传输能力的数据收集引擎 ，用来进行数据收集（如：读取文本文件）、解析，并将数据 发送给ES 。 Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台 。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格

一、简介 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据

报错一：kibana登录出错，查看日志发现：crypt_r() failed $ cat /var/log/nginx/error.log 2020/01/28 12:11:38 [ crit ] 8863 #8863: *3 crypt_r() failed (22: Invalid argument), client: 10.20.44.113, server: xx.xx.xx.xx, request: "GET /status HTTP/1.1", host: "xx.xx.xx.xx" 原因分析 # 最初创建用户时，我已经犯规了。结果，htpasswd文件如下所示： $ cat /etc/nginx/htpasswd.users kibanaadmin: kibanaadmin: $apr1 $sNJR /eWP $4YZjLMfSka13 /UfkLH2.J. 解决方法 # 删除空白用户后，一切正常。 $ sudo nano /etc/nginx/htpasswd.users $ cat /etc/nginx/htpasswd.users kibanaadmin: $apr1 $sNJR /eWP $4YZjLMfSka13 /UfkLH2.J. 报错二：安装有filebeat采集日志的服务器上连接elasticsearch失败 Failed to connect to

前言 什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个： 处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能 配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。 检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。 集群线性扩展：elasticsearch和logstash都可以灵活线性扩展 前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单 什么是Elasticsearch： 是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能 什么是Logstash： 可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。 什么是kibana： 主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。 一

1.前置工作 1.虚拟机环境简介 Linux版本:Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux ip地址:192.168.1.4(虚拟机Nat配置可参考我的CSDN博客 https://blog.csdn.net/yanshaoshuai/article/details/97689891 ) Java环境:java 12.0.2(java环境安装可以参考我的CSDN博客 https://blog.csdn.net/yanshaoshuai/article/details/87868286 ) 2.用户及权限配置 由于ELK产品不能以root用户运行，所以要先创建一个普通用户，并且最低要给予该用户你运行程序目录的执行权限，以及配置文件的修改权限和运行程序中产生文件的读写权限等。 #创建用户和组[root@localhost gz]# groupadd es_group [root@localhost gz]# useradd es_user [root@localhost gz]# passwd es_user Changing password for user es_user. New

1.实验环境：   使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完成的数据，进行文档分析，，构建索引，提供查询等操作，kibana提供图形化界面查询的组件 逻辑拓扑图 2.实验步骤 本实验所用的四个软件包全部都是5.6版本 下载相关网站： https://www.elastic.co/cn/products 配置前注意事项：1.关闭防火墙。2.关闭SELinux。3.同步时间 步骤1.实现收集httpd服务的日志文件，并将数据发送给redis服务 http+filebeat服务器相关配置 [root@filebeat ~]# yum install -y httpd [root@filebeat ~]# echo test > /var/www/html/index.html [root@filebeat ~]# systemctl start httpd [root@filebeat ~]# rpm -ivh filebeat-5.6.10-x86_64.rpm