logstash

1. ELK简介 在传统项目中，如果在生产环境中，有多台不同的服务器集群，如果生产环境需要通过日志定位项目的Bug的话，需要在每台节点上使用传统的命令方式查询，这样效率非常低下。因此我们需要集中化的管理日志，ELK则应运而生。ELK=ElasticSeach+Logstash+Kibana，本项目采用的是 ElasticSeach + Logstash + kafka + Kibana 2. 各个组件介绍 2.1 Logstash Logstash 主要用于收集服务器日志，它是一个开源数据收集引擎，具有实时管道功能。Logstash 可以动态地将来自不同数据源的数据统一起来，并将数据标准化到您所选择的目的地。 Logstash 收集数据的过程主要分为以下三个部分： 输入：数据（包含但不限于日志）往往都是以不同的形式、格式存储在不同的系统中，而 Logstash 支持从多种数据源中收集数据（File、Syslog、MySQL、消息中间件等等）。 过滤器：实时解析和转换数据，识别已命名的字段以构建结构，并将它们转换成通用格式。 输出：Elasticsearch 并非存储的唯一选择，Logstash 提供很多输出选择。 2.2 Elasticsearch Elasticsearch （ES）是一个分布式的 Restful 风格的搜索和数据分析引擎，它具有以下特点： 查询

docker run -d -p 5601:5601 -p 9200:9200 -p 5044:5044 -v /opt/data/elk-data:/var/lib/elasticsearch --name elk sebp/elk 1.运行完后报错： max virtual memory areas vm.max_map_count [26214] is too low, increase to at least [262144] 这是因为elasticsearch用户拥有的内存权限太小，至少需要262144。 执行 sysctl -a|grep vm.max_map_count 显示： vm.max_map_count = 26214 使用命令修改： sysctl -w vm.max_map_count=262144 然后在 /etc/sysctl.conf文件最后添加一行 vm.max_map_count=262144。 使用docker ps 查看是否在运行，使用docker images找到本地镜像，使用 docker start [imageId] 运行已存在的镜像。（docker run 生成镜像） 2. 访问elk。（我的虚拟机ip是192.168.1.90） 2.1 5601端口查看Kibana: http://192.168.1.90:5601/ 2.2 es

1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 2、四大组件 Logstash: logstash server端用来搜集日志； Elasticsearch: 存储各类日志； Kibana: web化接口用作查寻和可视化日志； Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server； 3、ELK工作流程 在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch

点击上方 蓝色字体 ，选择“标星公众号” 优质文章，第一时间送达 作者 | reddevil_zs 来源 | urlify.cn/3mYfuq 66套java从入门到精通实战课程分享 1. ELK日志分析简介 1.1 ELK日志分析概述   ELK可运行于分布式系统之上，通过搜集、过滤、传输、储存，对海量系统和组件日志进行集中管理和准实时搜索、分析，使用搜索、监控、事件消息和报表等简单易用的功能，帮助运维人员进行线上业务的准实时监控、业务异常时及时定位原因、排除故障、程序研发时跟踪分析Bug、业务趋势分析、深度挖掘日志的大数据价值。ELK主要可解决的问题如下：1.日志查询，问题排查，上线检查.2.服务器监控，应用监控，错误报警，Bug管理. 3.性能分析，安全漏洞分析。综上，ELK是一套方便、易用的日志分析开源解决方案。 1.2 ELK主要组件介绍   生产环境中，ELK通常由以下4个组件构成： 1.2.1 ElasticSearch组件   ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的

ELK 是由三部分组成的一套日志分析系统， Elasticsearch: 基于json分析搜索引擎,Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片， 索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash: 动态数据收集管道,Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 Kibana: 可视化视图,将elasticsearh所收集的data通过视图展现。kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 一、使用docker集成镜像 安装docker elk集成镜像包 名字是 sebp/elk 1.安装 docke、启动 yum install docke service docker start 2.下载 sebp/elk docker pull sebp/elk 无法下载、报错 ： unauthorized: authentication required 这是国外网络的问题 解决1 用网易镜像 vim /etc/docker/daemon.json 这个json文件不存在的，不需要担心，直接编辑 把下面的贴进去，保存，重启即可