elk搭建

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。 名称 作用 Elasticsearch Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。 Logstash Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。 Kibana Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。 版本：elasticsearch-6.2.4 官方网站下载这3个软件： https://www.elastic.co/cn/products 上传到linux： /home 目录下。 首先确定自己的jdk版本： java -version 必须jdk1.8以上。有尝试过jdk环境下搭建，需要改启动脚本指定启动使用1.8，百度无果。（我不会写脚本啊！！

groupadd elsearch useradd elsearch -g elsearch vi elasticsearch.yml su elsearch : : * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 server.port: 5601 server.host: "0.0.0.0" elasticsearch.url: "http://ip:9200" kibana.index: ".kibana" logstash input { file { start_position => beginning } } filter { } output { elasticsearch { hosts => "ip:9200" } } 来源：博客园 作者： lazy_cxy 链接：https://www.cnblogs.com/lazycxy/p/11422216.html

关于elk安装搭建的两种思路？ 一.直接基于docker仓库中elk镜像安装 安装参考文档： https://blog.csdn.net/weixin_42242494/article/details/82494964 优势：灵活便捷，部署即用。 二.基于docker安装centos镜像服务器 安装步骤如下： 1.安装docker不再赘述 2.查看centos版本,此命令不太稳定。 3.在这里我选择centos:7,拉取镜像 5.查看正在运行的容器，下图运行的是myCentos 制作镜像 查看，镜像已经生成 6.启动容器 docker run --privileged --cap-add SYS_ADMIN -e container=docker 这个命令用来建立一个CENTOS的容器。把80端口映射到容器的8080端口。 --privileged 指定容器是否是特权容器。这里开启特权模式。 --cap-add SYS_ADMIN 添加系统的权限。不然，系统很多功能都用不了的。 -e container=docker 设置容器的类型。 -it 启动互动模式。 pass: -v /root/software/ : /mnt/software/ 进入正在运行的centos容器，进去后就和操作linux一样了 安装jdk1.8，详情见 https://blog.csdn.net

一、E 二、L 启动 三、K 四、filebeat 五、配置文件使用 1、logstash-sample.conf # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. input { redis { batch_count => 1 type => "redis-input" data_type => "list" key => "logstash_test_list" host => "127.0.0.1" port => 6379 password => "Aroot1234@A" db => 0 threads => 5 codec => "json" } beats{ host => "127.0.0.1" port => 5044 } } filter { } output { if [fields][document_type]=="api" { elasticsearch { hosts => ["127.0.0.1:9200"] index => "apinadiyi-%{+YYYY.MM.dd}" # template_name => "apinadiyi" } stdout { codec => rubydebug

1、添加tomcat监控模版 yum install java-1.8.0-openjdk tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp -y #在被监控节点安装tomcat包 与jmx接口通信需要使用特定的客户端，还需要在其他节点或者主节点安装一个特定的客户端组件zabbix-gateway，这里在主节点直接安装上 yum install zabbix-java-gateway -y 在主节点安装 systemctl start zabbix-java-gateway #启动服务 修改主节点配置文件，加入JavaGateway的地址端口及进程数 修改tomcat配置文件支持jmx CATALINA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.manageme nt.jmxremote.port=12345 -Dcom.sun.management.jmxremote.ssh=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rm i.server.hostname=192.168.1.197" 添加jmx主机

ELK平台介绍 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。 开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站： https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana

概述 本文介绍使用ELK（elasticsearch、logstash、kibana） +　kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有了日志数据了，最后，则使用kibana将存放在elasticsearch中的日志数据显示出来，并且可以做实时的数据图表分析等等。 详细 代码下载： http://www.demodashi.com/demo/10181.html 本文介绍使用ELK（elasticsearch、logstash、kibana） +　kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch，这样elasticsearch就有了日志数据了，最后，则使用kibana将存放在elasticsearch中的日志数据显示出来，并且可以做实时的数据图表分析等等。 为什么用ELK 以前不用ELK的做法 最开始我些项目的时候，都习惯用log4j来把日志写到log文件中，后来项目有了高可用的要求，我们就进行了分布式部署web，这样我们还是用log4j这样的方式来记录log的话

1.ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。后文的四种基本架构中将逐一介绍应用到的其它套件。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图， 还允许他们以特殊的方式查询和过滤数据。 2.这是最简单的一种ELK架构方式。优点是搭建简单，易于上手。缺点是Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。建议供学习者和小规模集群使用。 此架构首先由Logstash分布于各个节点上搜集相关日志

目录 kubernetes集群 集群拓扑图 新节点加入集群 本地 docker registry与开发环境 ELK 开发与部署 ELK架构拓扑图 Elasticsearch 开发、调试与部署 Kibana 部署 Logstash+filebeat 开发、调试与部署 注：本文仅涉及使ELK+k8s能够正确搜集并分析ZStack manager log所做的相关开发工作，关于HA(Hign available)、HC(High Concurrency)、日志保存等更多问题将在后期研究中给出相关解决方案。后续会进行如下优化或研究： 利用GitRepo进行快速开发调试 cephfs for elasticsearch's persistent storage index lifecycle management 关于HA/HC的研究与实践(待续) 一、kubernetes集群 集群结构拓扑图（位于172.20.0.10上的4台vm搭建的kubernetes集群） kubeadm version：1.14.2-0 kubelet version: 1.14.2-0 kubernetes-cni version: 0.7.5-0 docker server version: 1.13.1 新woker node加入集群方法 新节点加入cluster命令： kubeadm join 10.0

章节 ELK 介绍 ELK 安装Elasticsearch ELK 安装Kibana ELK 安装Beat ELK 安装Logstash Beat是数据采集工具，安装在服务器上，将采集到的数据发送给Elasticsearch。Beat可以直接将数据发送到Elasticsearch，也可以先发送给Logstash，由Logstash处理后再发送给Elasticsearch。 每个Beat都是可独立安装的产品。本教程将学习，如何安装和运行Metricbeat，如何启用Metricbeat系统模块来收集系统指标。 要了解更多关Beat的信息，请参阅相关文档: Beat类型 抓取 Auditbeat Audit data Filebeat 日志文件 Functionbeat 云数据 Heartbeat 可用性监测 Journalbeat Systemd journals Metricbeat 运行指标，如系统运行指标 Packetbeat 网络流量 Winlogbeat Windows 事件日志 安装Metricbeat 要下载安装Metricbeat，打开命令行窗口，执行以下命令: deb: curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.1.0-amd64.deb sudo