elk搭建

1、首先说下EKL到底是什么吧？ ELK是Elasticsearch（相当于仓库）、Logstash（相当于旷工，挖矿即采集数据）、Kibana（将采集的数据展示出来）的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。 三者相互通信的端口是：9200 优化模型： filebeat（日志采集）——》kafaka集群（防止日志丢失，进行限流和负载均衡）-------》logstash集群（日志输入、过滤、输出）-----

一、简介 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据

　　一，安装环境查看 　　二，软件版本选用 jdk 1.8.0_171 elasticsearch 7.1.1 kibana 7.1.1 logstash 7.1.1 　　 　　三，安装配置 　　1，安装JDK 　　过程不详述 　　2，安装ELK 　　官网下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-x86_64.rpm wget https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-x86_64.rpm wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.rpm 　　安装 rpm -ivh elasticsearch-7.1.1-x86_64.rpm rpm -ivh kibana-7.1.1-x86_64.rpm rpm -vih logstash-7.1.1.rpm 　　修改elasticsearch配置文件 /etc/elasticsearch/elasticsearch.yml 　　 #集群名 cluster.name: my-es #node名 node.name: node-1 #数据目录 path

https://blog.51cto.com/zero01/2079879 https://blog.51cto.com/zero01/2082794 1.安装ES：　 　 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch vim /etc/yum.repos.d/elastic.repo # 增加以下内容 　　 [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md yum install -y elasticsearch 或者： wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.rpm rpm -ivh elasticsearch-6.0.0.rpm 启动： systemctl start

需求分析 日志是作为线上系统排错的关键，通常我们在本机代码调试的时候，错误会直接打印在控制台上，因此我们才能进行错误的判断。当系统运行在线上的时候，如果单纯的通过捕获异常 ，使用**e.printStackTrace()**进行打印肯定是不行的。因为其他的运行信息或者异常也会将打印的信息给顶掉。 这个时候我们就需要引入日志系统了，这里就不在赘述如何打印日志了。 上述这种情况是在单机版的情况下正常运行，这个时候我们的日志是可以正常的进行查看。但是，当我们开始做分布式，做微服务的时候，单机版的日志系统对于这种情况就不适用了。、 此时此刻，日志记录在多个服务器的log文件当中，而对于我们来说排错就变得异常困难了。因为一个服务可能做了集群之后，生成的日志文件还需要去查看在哪个服务器，对于开发的排错来说大大降低了效率。 显然，此时此刻我们需要一个分布式的日志管理系统，对所有的日志进行统一的管理。 分布式日志系统ELK是指Elasticsearch+Logstash+Kibana。Elasticsearch是一个开源的全文检索工具用于日志存储，Logstash是一个日志收集工具。Kibana用于日志查询与展示。下面是系统简单架构图。 ELK的架构体系十分的简单，首先Logstash通过读取数据源中的数据，进行过滤，然后在输出到ElasticSearch当中去。接着使用Kibbna进行日志的查看

1：前提 ：服务器已搭建java环境 1.8 2:elk步骤 :首先搭建ES做数据存储，然后搭建Kibana做数据可视化。最后搭建Logstash做数据流转 ：：1：搭建ES 1:在服务器根目录下 创建名为ELK文件夹 1:cd / 2: mkdir elk 3:cd elk 2: 下载ES包：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz 3：解压之 tar -zxvf elasticsearch-6.4.3.tar.gz 整体目录如下 修改相关文件配置。由于这个服务器是1核1G的。es默认配置-Xms 和-Xmx都是1G 一般是需要启动将其增加到4G左右。但是 服务器只有1G，还搭了XXL和别的东西 就给了512M 不然无法启动。 然后需要修改系统的虚拟内存大小 vim /etc/sysctl.conf 修改vm.max_map_count=262144 。未定义该参数则新增。 推出vim 后执行 sysctl -p 使其立即生效。 由于ES无法使用root 账户登录 所以新增一个用户 并赋予es文件夹权限 add user useres ;chown -R useres /elk/elasticsearch-6.4.3 然后启动es 执行es文件夹 bin

ELK 搭建记录 为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 UI 分析 警告－能够提供错误报告，监控机制 ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。 ELK简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少

ELK下载 https://www.elastic.co/cn/downloads/ Elasticsearch搭建 Elasticsearch 集群 Logstash搭建 因为没有真实的环境的，我就手动上传了两个log日志文件做测试使用 在Logstash/config下面新增一个配置文件config-log-1.conf input { # 从文件读取日志信息 输送到控制台 file { path => "/yangk/ELK/logs/2019-08-02.log" codec => "json" ## 以JSON格式读取日志 type => "elasticsearch" start_position => "beginning" } } output { # 标准输出 # stdout {} # 输出进行格式化，采用Ruby库来解析日志 stdout { codec => rubydebug } elasticsearch { #ES的复制 hosts => ["192.168.100.151:9201"] # 根据每天创建索引 index => "es-%{+YYYY.MM.dd}" } } 启动命令，到bin目录 ./logstash -f ../config/config-log-1.conf logstash启动很慢的，而且内存要配置大一点。不然会报错。启动不成功

ELK部署 ELK适用场景 公司网站的访问量有多大，访问高峰期的时间段是多少，最经常访问的热点数据是什么？这一切的一切，虽然我们可以自己通过shell等手段截取出来， 但是如果网站多了，服务器多了，还是非常不方便，而且阅读性也不好，因此ELK应运而生，不仅可以获取访问高峰期，还可以制作图表，让你的领导一目了然， ELK已然成为各大互联往公司必部署的项目，因此接下来我们就来部署一套ELK系统 实验环境 192.168.254.13 ES,Kibana 192.168.254.11 logstash ELK版本：7.5.1 操作系统：CentOS Linux release 7.6.1810 (Core) note： 请确保你的firewalld和selinux关闭 最好确保你的机器是2个cpu以上 最好确保你的机器是2G以上内存 原理 logstash负责收集客户端的日志信息发送给ES服务器，然后通过Kibana以web形式展现出来 note：ES和logstash服务器需要java8以上 部署kibana 1.解压ES和kibana包，并移动到/usr/local下 tar -zxvf kibana-7.5.1-linux-x86_64.tar.gz tar -zxvf elasticsearch-7.5.1-linux-x86_64.tar.gz mv elasticsearch

Elastic Stack(旧称ELK)是一个开源的日志处理平台，主要组件为Elasticsearch（分布式存储），Logstash（日志收集/字段处理/管道），Kibana（前端展示），在适当的硬件基础上拥有处理亿级日志或文档的能力。 分步指南 Elasticsearch 首先，安装Elasticsearch集群环境，关于节点数量，ES集群会自动的选举出master节点，集群中其他节点则会成为slave节点。为了避免选举产生‘脑裂’问题，通常会搭建奇数个节点。 官网下载RPM或deb包并安装。 修改配置文件 a. jvm配置文件，主要修改java虚拟机堆大小，默认为2G。因为测试机内存为8G，故将heap size设置为6G即可：/etc/elasticsearch/jvm.options -Xms6g -Xmx6g b. 修改ES配置文件，主要参数如下：/etc/elasticsearch/elasticsearch.yml cluster.name : abc - elk #集群名称 来源： CSDN 作者： Xanthuim 链接： https://blog.csdn.net/qq_15003505/article/details/103461164