elk

安装 首先安装 Docker 与 Docker-Compose 相关的组件，我们这里直接使用准备好的 ELK 镜像 ，执行以下命令从 Dockerhub 上拉取指定版本的镜像，在本例当中我使用的是 7.40 版本。 docker pull sebp/elk:740 配置 为其编写 docker-compose.yaml 文件，内容如下： version: '3.7' services: nginx: image: nginx container_name: nginx ports: - 80:80 - 443:443 networks: - internal-network volumes: - /root/Volumes/Nginx/nginx.conf:/etc/nginx/nginx.conf - /root/Volumes/Nginx/Configs:/etc/nginx/conf.d restart: always elk: image: sebp/elk:740 container_name: elk ports: - 9200:9200 - 5044:5044 expose: - 5601 networks: - internal-network volumes: - /opt/elk-data:/var/lib/elasticsearch - /etc

1.虚拟机创建 1.1 系统环境 [root@localhost ~]# cat /etc/os-release NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)" ANSI_COLOR="0;31" CPE_NAME="cpe:/o:centos:centos:7" HOME_URL="https://www.centos.org/" BUG_REPORT_URL=https://bugs.centos.org/ 主机名设置 hostnamectl set-hostname elk [root@elk ~]# hostnamectl Static hostname: elk Icon name: computer-vm Chassis: vm Machine ID: d1d80bc30b414ba7a6e5e49906699d7d Boot ID: 49488ed1b1434c8aa06fca343bf67ccf Virtualization: vmware Operating System: CentOS Linux 7 (Core) CPE OS Name: cpe:/o

目录 使用docker搭建elk filebeat安装与配置 docker容器设置 参考文章 首发地址 使用docker搭建elk 1、使用docker-compose文件构建elk。文件如下： version: '3' services: elk: image: sebp/elk:640 ports: - "5601:5601" - "9200:9200" - "5044:5044" environment: - ES_JAVA_OPTS=-Xms512m -Xmx512m volumes: - ~dockerdata/elk:/var/lib/elasticsearch 2、执行docker-compose up -d 启动elk。可以使用docker logs 命令查看elk启动日志。启动成功后打开浏览器访问 http://127.0.0.1:5601 filebeat安装与配置 关于filebeat本文也不做过多介绍。只讲解安装与配置。 1、filebeat的docker-composep version: '3' services: filebeat: image: prima/filebeat:6 #restart: always volumes: - ./config/filebeat.yml:/filebeat.yml - ~/dockerdata/filebeat

1、安装docker前安装pip sudo yum -y install epel-release sudo yum install python-pip 2、安装docker #安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 #添加docker yum源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo #可选操作：允许拓展最新的不稳定的repository yum-config-manager --enable docker-ce-edge #安装Docker yum -y install docker-ce #安装docker-compose sudo pip install -U docker-compose #启动Docker systemctl start docker 安装ELK: 1、下载镜像 这里我们使用elk集成镜像，地址： https://hub.docker.com/r/sebp/elk/tags [root@centos-mq ~]# docker pull sebp/elk:660 注：660为elk版本 2、启动 [root@centos-mq ~]

一、ELK介绍 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。 二、我司应用 1）同花顺PC客户端防外挂报送系统 2）同花顺智能客服系统 下面简单介绍下我司PC客户端防外挂系统。 由于之前没有了解过ELK，在部署同花顺防外挂报送系统时候才逐步知道，同花顺自研了数据流引擎collect及pms，用于采集委托主站上日志到ES上，实时分析功能的kibana未要求安装，不方便对ES进行管理，故自行安装了下kibana，上面可以查询ES相关状态，数据等，对不熟悉界面查看ES命令运维人员比较友好，如未安装kibana的，可以通过如下命令查询及修改等： curl 10.60.113.227:9200/_cat/nodes?v curl 10.60.113.227:9200/_cat/indices?v curl -XGET ' http://10.60.113.227:9200/_cat/indices?v ' |grep wtclientcheck curl -XDELETE ' http://10.60.113.227:9200/wtclientcheck-20191105 ' curl -XGET ' http://10.60.113.227:9200/_template/tmp_wtclientcheck ' curl -XPUT http

作为网络工程师，收集交换机的日志很重要，最近对elk比较感兴趣，匆匆忙忙搭建后，看了下效果，以后有时间再详细研究。。。 来源： 51CTO 作者： wangcc127 链接： https://blog.51cto.com/wcc127/2466851

一 ELK简介 1 ELK是什么 ELK是一整套运维问题解决方案,美团 华为 携程等都在使用 ELK分别是: Elasticsearch 负责日志检索和存储 Logstash 负责日志的收集和分析处理 Kibana 负责日志的可视化 2 ELK作用 ELK组件在海量的日志系统运维中,可用于解决: 分布式日志数据集中式查询和管理 系统监控,包含系统硬件和应用各个组件的监控 故障排查 安全信息和事件管理 报表功能 二 Elasticsearch Elasticsearch是用java开发的,并作为Apache许可条款下的开放源码发布,是当前留下的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定 可靠 快速 安装使用方便 三 ES集群安装 1 ES基础 1.1 ES集群安装 1.1.1 安装ES服务器 设置主机名和ip对应关系 配置/etc/hosts 192.168.1.51 es1 解决依赖关系 安装JDK yum -y install java-1.8.0-openjdk 安装软件包 yum -y install elasticsearch 修改配置文件 /etc/elasticsearch.yml network.host: 0.0.0.0 启动服务 systemctl start elasticsearch systemctl enable elasticsearch

分别下载以下包及下载路径 elasticsearch下载网址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz logstash下载网址： https://artifacts.elastic.co/downloads/logstash/logstash-7.5.1.tar.gz filebeat下载网址： https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz Kibana下载网址： https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz node的下载网址： https://nodejs.org/dist/v10.15.3/node-v10.15.3-linux-x64.tar.gz phantomjs下载网址： https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2 elasticsearch

一、elk 概念 ELK是 Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch ：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能。Elasticsearch是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash ：用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana ：基于Web的可视化图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。 二、docker 安装 elk 1、拉镜像，运行 docker pull sebp/elk docker run -d -it --name elk --restart always -p 5601:5601 -p 9200:9200 -p 5044