elk日志分析

为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括 日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。 常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 UI 分析 警告－能够提供错误报告，监控机制 ELK提供了一整套解决方案，并且都是开源软件， 之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。 ELK简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash

转载自：http://blog.topspeedsnail.com/archives/4825 如果是自己试验的性质，可考虑不装ssh。 Ubuntu 16.04 搭建 ELK 日志分析平台 我要搭建的ELK S tack图示： ELK服务器建议配置： 内存不少于4G CPU：2 Ubuntu 16.04 #1 安装Java JDK Elasticsearch和Logstash都是使用java写的，所以我们需要安装Java， Elasticsearch建议安装 Oracle Java 8（OpenJdk应该也行） ： Ubuntu 16.04安装Java JDK #2 安装 Elasticsearch 导入 Elasticsearch的GPG公钥： 1 $ wget - qO - https : / / packages .elastic .co / GPG - KEY - elasticsearch | sudo apt - key add - 添加 Elasticsearch仓库源： 1 $ echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee - a / etc / apt / sources .list .d / elasticsearch - 2.x

elasticsearch启动步骤 下载地址 https://www.elastic.co/downloads elk日志分析系统所需软件 1.背景 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果需要管理数十上百台服务器，必须依次登录每台机器的传统方法查阅日志，这样很繁琐和效率低下。当务之急是使用集中化的日志管理，开源实时日志分析ELK平台能够完美的解决上述所提到的问题。 2.工具 ELK由ElasticSearch（ES）、Logstash和Kiabana三个开源工具组成。 ES是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，可以对日志进行收集、分析、并将其存储供以后使用。 kibana也是一个开源和免费的工具，他Kibana可以为Logstash和ES提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。 可以在ELK官网 https://www.elastic.co/下载最新版本的工具安装包

简介 日志服务器 提高安全性 集中存放日志 缺陷：对日志的分析困难 ELK日志分析系统 Elasticsearch：存储，索引池 Logstash：日志收集器 Kibana：数据可视化 日志处理步骤 1，将日志进行集中化管理 2，将日志格式化（Logstash）并输出到Elasticsearch 3，对格式化后的数据进行索引和存储（Elasticsearch） 4，前端数据的展示（Kibana） Elasticsearch的概述 提供了一个分布式多用户能力的全文搜索引擎 Elasticsearch的概念 接近实时 集群 节点 索引：索引(库)-->类型(表)-->文档(记录) 分片和副本 Logstash介绍 一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出 数据输入、数据加工(如过滤，改写等)以及数据输出 LogStash主要组件 Shipper Indexer Broker Search and Storage Web Interface Kibana介绍 一个针对Elasticsearch的开源分析及可视化平台 搜索、查看存储在Elasticsearch索引中的数据 通过各种图表进行高级数据分析及展示 Kibana主要功能 Elasticsearch无缝之集成 整合数据，复杂数据分析 让更多团队成员受益 接口灵活，分享更容易 配置简单，可视化多数据源

一、ELK 日志分析系统简介： 日志服务器： 提高安全性； 集中存放日志； 缺陷：对日志的分析困难 ELK日志处理步骤： 将日志进行集中格式化； 将日志格式化（logstash）并输出到 Elasticsearch； 对格式化后的数据进行索引和存储（Elasticsearch）； 前端数据的展示（Kibana） 二、搭建 ELK 日志分析系统： 第一步：先配置 elasticsearch 环境 （1）修改两台主机名，分别是：node1 和 node2 （2）修改 hosts 文件： vim /etc/hosts 添加以下主机名和主机IP地址（两台node都需要）： 192.168.220.129 node1 192.168.220.130 node2 （3）防火墙都关闭 systemctl stop firewalld.service setenforce 0 第二步：部署安装 elasticsearch 软件（两台节点都需要） （1）安装： rpm -ivh elasticsearch-5.5.0.rpm //安装 systemctl daemon-reload //重新加载服务配置文件 systemctl enable elasticsearch.service //设置为开机自启动 cp /etc/elasticsearch/elasticsearch.yml /etc

内容要点： 一、ELK日志分析系统简介 二、搭建ELK日志分析系统 一、ELK 日志分析系统简介： 日志服务器： 提高安全性； 集中存放日志； 缺陷：对日志的分析困难 ELK日志处理步骤： 将日志进行集中格式化； 将日志格式化（logstash）并输出到 Elasticsearch； 对格式化后的数据进行索引和存储（Elasticsearch）； 前端数据的展示（Kibana） E：Elasticsearch，提供了一个分布式多用户能力的全文搜索引擎 L：Logstash，一款强大的数据处理工具,可以实现数据传输、格式处理、格式化输出 数据输入、数据加工(如过滤,改写等)以及数据输出 K：Kibana，一个针对Elasticsearch的开源分析及可视化平台 搜索、查看存储在Elasticsearch索引中的数据 通过各种图表进行高级数据分析及展示 二、搭建 ELK 日志分析系统： 主机 操作系统 主机名 IP地址 主要软件 服务器 Centos7.4 node1 192.168.50.142 Elasticsearch、Kibana 服务器 Centos7.4 node2 192.168.50.139 Elasticsearch 服务器 Centos7.4 apache 192.168.50.141 Logstash Apache 第一步：先配置 elasticsearch 环境

一、ELK的组成 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成，其官方网站为https://www.elastic.co/cn Elasticsearch：是个开源分布实时分析搜索引擎，建立在全文搜索引擎库Apache Lucens基础上，同时隐藏了Apache Luces的复杂性。Elasticsearch将所有的功能打包成一个独立的服务，并提供了一个简单的RESTful API接口，它具有分布式、零配置、自动发现、索引自动分片、索引副本机制、RESTful风格接口、多数据源、自动搜索负载等特点； Logstash：是一个完全开源的工具，主要用于日志收集，同时可以对数据处理，并输出给Elasticsearch； Kibana：也是一个开源和免费的工具，Kibana可以为Logstash和Elasticsearch提供图形化的日志分析Web界面，可以汇总、分析和搜索重要数据日志； 1、ELK的工作原理如下图： Logstash收集APPServer产生的Log，并存放到Elasticsearch群集中，而Kibana则从ES群集中查询数据生成图表，在返回给Browser。 简单来说，进行日志处理分析，一般需要经过以下几个步骤： 将日志进行集中化管理； 将日志格式化（Logstash）并输出到Elasticsearch；

ELK平台介绍 在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自： http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。 开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站： https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口

目录： 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Kibana 五、安装Nginx 六、安装Logstash 七、安装Logstash-forwarder 八、测试 系统环境：CentOS Linux release 7.4.1708 (Core) 软件版本： elasticsearch-5.6.10 kibana-5.6.10 logstash-5.6.10 当前问题状况 开发人员不能登录线上服务器查看详细日志。 各个系统都有日志，日志数据分散难以查找。 日志数据量大，查询速度慢，或者数据不够实时。 一、介绍 1、组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 2、四大组件 Logstash: logstash server端用来搜集日志； Elasticsearch: 存储各类日志

https://www.jianshu.com/p/88f2cbedcc2a 写在前面 刚毕业工作的时候，处理日志喜欢自己写脚本抓取数据分析日志，然后在zabbix上展示出来。但是开发要看日志的时候，还是要登录服务器，使用tailf、grep加一些正则，很是麻烦。来到一个新环境，需要搭建一套日志管理系统，接触了elk，相见恨晚，记录下自己从零开始学习使用elk的过程。 日志管理系统ELK 目录 部署架构图 部署版本 部署地址 服务部署 总结 部署架构图： elk.png 部署前了解： 1、elk现在又叫elfk，是elasticsearch、logstash、filebeat、kibana的简称。 2、elk架构类似于C/S，由客户端的日志收集工具收集日志，服务端的日志收集工具收集分析客户端的日志。之前客户端的日志收集工具logstash是用java写的，比较占用内存，为了不给生产环境造成负担，生产环境上的日志收集工具换成了用go语言写的filebeat，filebeat将日志收集到redis里面，利用redis做消息队列，服务端的logstash从redis里面取数据，分析，传到elasticsearch，最后用kibana展示出来 3、本次安装是安装在内网，故没有考虑到安全的问题，安装过程中会提到 4、本次安装是基于debian，如果是centos注意从官网下载不同的软件包