elk搭建

第1章 自动化运维架构 主要讲解了自动化运维的概念，分析了现在的自动化运维的面临的挑战。基于我对自动运维的理解，提出了中小企业自动化运维架构，并讲解了该架构。后续的章节，主要是实现这个架构。 1-1 课程介绍 试看 1-2 自动化运维流程 第2章 服务器批量管理 Ansible Ansible作为一个优秀的IT资产管理、配置工具，这一章主要讲解了Ansible的使用，包括Ansible的安装、配置、使用，并且在课程的最后，结合我们公司业务的需求，实际演示了如何使用Ansible Playbook功能实现Zabbix的安装。 2-1 Ansible的介绍及流程 2-2 Ansible安装配置 2-3 Ad-hoc和Inventory的基本使用 2-4 使用ansible实战MySQL安装操作 2-5 什么是Ansible playbook 2-6 使用playbook完成一个helloword以及介绍playbook的基本结构 2-7 使用playbook实战Python环境的安装 2-8 Ansible实战安装Zabbix_Shell版 2-9 Ansible实战安装Zabbix_Playbook版 第3章 监控报警 Zabbix Zabbix作为一个非常强大的监控管理工具，这一章主要讲解的Zabbix的安装、配置，介绍了Zabbix的主要功能和使用方法，并且在课程的最后

一、logback + elk，tcp方式发送 环境搭建参考上一篇博客： https://www.cnblogs.com/alan6/p/11667758.html tcp方式存在的问题：tcp方式在日志量比较大，并发量较高的情况下，可能导致日志丢失。可以考虑采用 kafka 保存日志消息，做一个流量削峰。 二、logback + kafka + elk 1、docker安装 zookeeper + kafka 拉镜像： docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 运行zookeeper： docker run -d --name zookeeper --restart always --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeper:latest 运行kafka： docker run -d --name kafka --restart always --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \ --env KAFKA_ADVERTISED_HOST_NAME

最近因微服务开发需要，搭建了一个日志收集框架ELK,途中踩过坑，故此留帖记录下 　　首先下载安装一个 Elasticsearch，官网地址：https://www.elastic.co/downloads/elasticsearch 根据不同的环境下载不同的版本安装解压即可 然后找到如下位置双击启动 页面出现这种情况说明启动成功： Elasticsearch还可以根据自己的喜好设置分片命名 同理继续下载kibana ，地址：https://www.elastic.co/downloads/kibana 这里可以注意就是下面文件中配置的 Elasticsearch路径要和之前安装路径一致，双击启动 最后安装现在logstash，路径：https://www.elastic.co/downloads/logstash， 这里注意解压是解压路径看看是否有空白存在， 如果有记得换个路径，不然可能启动失败， 然后在 改路径下新建一个 logstash.conf（名字任意）， 内容如下（采用官方推荐的redis方式）： input { redis { data_type => "list" #存储类型 type => "redis-input" key => "logstash:redis"#key值，后面要与spring boot中key保持一致 host => "127.0.0.1"

本文来自我的github pages博客http://galengao.github.io/ 即www.gaohuirong.cn ELK是进行日志收集分析用的，具体工作、原理、作用自行google。该文只是我简单的一个搭建笔记。 [参照]： http://my.oschina.net/itblog/blog/547250 JDK安装 $ tar zxvf jdk-7u76-linux-x64.tar.gz -C /usr/local $ cd /usr/local $ mv jdk1.7.0_21 jdk1.7 vi ~/.bash_profile JAVA_HOME=/usr/local/jdk1.7 PATH=$PATH:$HOME/bin:/usr/local/mysql/bin:$JAVA_HOME/bin 安装ElasticSearch wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.2.0/elasticsearch-2.2.0.tar.gz tar -zxvf elasticsearch-2.2.0.tar.gz cd elasticsearch-2.2.0 安装Head插件

准备好一台虚拟机 一、系统配置 首先关闭防火墙 chkconfig iptables off – 永久关闭防火墙 service iptables stop – 暂时关闭防火墙，重启虚拟机后防火墙重新启动 配置系统环境，打开 vim /etc/security/limits.conf 添加如下 *soft nofile 65536 *hard nofile 131072 *soft nproc 2048 *hard nproc 4096 二、配置 JDK ES要求JDK版本至少1.8，因为Linux中有自带的jdk环境，需要手动去除 yum remove java* -y 解压jdk安装包 tar -xvf jdk-8u131-linux-x64.tar.gz 解压后的jdk包改名 mv jdk1.8.0_131/ jdk1.8 进入 /etc/profile 文件中 vim /etc/profile • 在最后一行添加 export JAVA_HOME=/home/software/jdk1.8 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar • 保存退出 :wq 重新生效： source /etc/profile 测试环境是否成功

转自：http://blog.csdn.net/lively1982/article/details/50678657 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。后文的四种基本架构中将逐一介绍应用到的其它套件。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。 我们先谈谈第一种ELK架构，如图1，这是最简单的一种ELK架构方式。优点是搭建简单，易于上手。缺点是Logstash耗资源较大

环境准备 基础环境介绍 操作系统 部署应用 应用版本号 IP地址 主机名 CentOS 7.4 Elasticsearch/Logstash 6.4.3 192.168.1.1 elk1 CentOS 7.4 Elasticsearch/Logstash/Redis 6.4.3 192.168.1.2 elk2 CentOS 7.4 Elasticsearch/Kibana 6.4.3 192.168.1.3 elk3 基础环境配置 安装基本软件包以及配置hosts yum -y install vim net-tools epel-release wget cat /etc/hosts 192.168.1.1 elk1 192.168.1.2 elk2 192.168.1.3 elk3 修改文件描述符以及内核参数 vim /etc/sysctl.conf vm.max_map_count = 655360 sysctl -p /etc/sysctl.conf vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 不需要重启，退出重连即可显示最新配置。使用 ulimit -n 查看。 安装及配置Java环境 yum -y

最近由于工作需要，需要搭建一个ELK日志监控平台，本次采用Filebeat（采集数据）+Elasticsearch（建立索引）+Kibana（展示）架构，实现日志搜索展示功能。 一、安装环境描述： 　　1、JDK1.8以上版本； 　　2、CentOS release 6.10 (Final) x86_64 二、Elasticsearch安装部署 　　2.1 官方网站 　　　　Elasticsearch： https://www.elastic.co/downloads/elasticsearch 　　　　Kibana： https://www.elastic.co/downloads/kibana 　　　　Filebeat： https://www.elastic.co/downloads/beats/filebeat 　　2.2 安装方式 　　　　这里采用RPM安装方式，要在root权限下安装。 　　　　为什么采用RPM安装方式？ 　　　　因为采用这种方式安装，直接可将软件安装成服务，可采用service命令启动; 　　　　2.2.1 安装 　　　　这里我采用的是6.3.2版本； 　　　　依次执行以下命令： 　　　　　　wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm

OS: Centos7 准备工作: 虚拟机中安装Centos, 搭建Docker环境 ELK简介: 略 文档地址 https://elk-docker.readthedocs.io/ 需要注意的是在Beats套件加入ELK Stack后,新的称呼是 Elastic Stack , 本次实践的是 filebeat + elk 由于elk镜像很大7.0.1版本大约1.8G 开始前建议将镜像源设置成国内地址 如阿里镜像库,网易镜像库等 阿里镜像源设置可参考 https://www.cnblogs.com/anliven/p/6218741.html / 1.下载镜像 docker pull sebp/elk 2.运行镜像 docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -v /usr/dockerfile:/data -it -d --name elk sebp/elk 5601 (Kibana web interface). 9200 (Elasticsearch JSON interface). 5044 (Logstash Beats interface, receives logs from Beats such as Filebeat – see the Forwarding logs with Filebeat

目录 内置日志的使用 使用Nlog 集成ELK 参考 内置日志的使用 Logger 是 asp .net core 的内置 service，所以我们就不需要在ConfigureService里面注册了。同时在asp.net core 2.0版本及以后，系统已经在CreateDefaultBuilder方法里默认配置了输出到Console和Debug窗口的Logger。 .ConfigureLogging(delegate(WebHostBuilderContext hostingContext, ILoggingBuilder logging) { logging.AddConfiguration(hostingContext.Configuration.GetSection("Logging")); logging.AddConsole(); logging.AddDebug(); }) 所以我们可以Controller里面直接注入ILoggerFactory然后再创建具体的Logger。 private readonly ILogger _logger; public HomeController(ILoggerFactory logger) { _logger = logger.CreateLogger<HomeController>(); } 但是还有更好的方式