filebeat

1、安装配置java [root@elk ~]# yum install java-1.8.0-openjdk.x86_64 -y [root@elk ~]# java -version openjdk version "1.8.0_212" OpenJDK Runtime Environment (build 1.8.0_212-b04) OpenJDK 64-Bit Server VM (build 25.212-b04, mixed mode) 2、更新时间 yum install ntpdate -y ntpdate time1.aliyun.com 3、安装配置elasticsearch [root@elk ~]# mkdir elk_package [root@elk ~]# cd elk_package [root@elk elk_package]# ll -rw-r--r--. 1 root root 114059630 Dec 21 10:26 elasticsearch-6.6.0.rpm -rw-r--r--. 1 root root 185123116 Dec 21 10:26 kibana-6.6.0-x86_64.rpm [root@elk elk_package]# rpm -ivh elasticsearch-6.6.0.rpm warning:

DaemonSet是在Kubernetes1.2 版本新增的一种资源对象 DaemonSet 能够让 所有（或者一些特定）的Node 节点 仅运行一份Pod 。当节点加入到kubernetes集群中，Pod会被（DaemonSet）调度到该节点上运行，当节点从kubernetes集群中被移除，被（DaemonSet）调度的Pod会被移除，如果删除DaemonSet，所有跟这个DaemonSet相关的pods都会被删除。 在使用kubernetes来运行应用时，很多时候我们需要在一个 区域（zone） 或者 所有Node 上运行 同一个守护进程（pod） ，例如如下场景： 每个Node上运行一个分布式存储的守护进程，例如glusterd，ceph 运行日志采集器在每个Node上，例如fluentd，logstash 运行监控的采集端在每个Node，例如prometheus node exporter，collectd等 DaemonSet的Pod调度策略与RC很类似，除了使用系统内置的调度算法在每个Node上进行调度，也可以在Pod定义中使用NodeSelector或NodeAffinity来指定满足条件的Node范围进行调度 DaemonSet 资源文件格式 apiVersion: extensions/v1beta1 kind: DaemonSet metadata: 1

Filebeat Prospector filebeat.prospectors: - input_type: log paths: - /var/log/apache/httpd-*.log document_type: apache - input_type: log paths: - /var/log/messages - /var/log/*.log Filebeat Options input_type: log|stdin 指定输入类型 paths 支持基本的正则，所有golang glob都支持,支持/var/log/*/*.log encoding plain, latin1, utf-8, utf-16be-bom, utf-16be, utf-16le, big5, gb18030, gbk, hz-gb-2312, euc-kr, euc-jp, iso-2022-jp, shift-jis, and so on exclude_lines 支持正则 排除匹配的行，如果有多行，合并成一个单一行来进行过滤 include_lines 支持正则 include_lines执行完毕之后会执行exclude_lines。 exclude_files 支持正则 排除匹配的文件 exclude_files: ['.gz$'] tags 列表中添加标签，用过过滤

OS: Centos7 准备工作: 虚拟机中安装Centos, 搭建Docker环境 ELK简介: 略 文档地址 https://elk-docker.readthedocs.io/ 需要注意的是在Beats套件加入ELK Stack后,新的称呼是 Elastic Stack , 本次实践的是 filebeat + elk 由于elk镜像很大7.0.1版本大约1.8G 开始前建议将镜像源设置成国内地址 如阿里镜像库,网易镜像库等 阿里镜像源设置可参考 https://www.cnblogs.com/anliven/p/6218741.html / 1.下载镜像 docker pull sebp/elk 2.运行镜像 docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -v /usr/dockerfile:/data -it -d --name elk sebp/elk 5601 (Kibana web interface). 9200 (Elasticsearch JSON interface). 5044 (Logstash Beats interface, receives logs from Beats such as Filebeat – see the Forwarding logs with Filebeat

Docker logs 对于一个运行的容器，Docker 会将日志发送到 容器的 标准输出设备（STDOUT）和标准错误设备（STDERR），STDOUT 和 STDERR 实际上就是容器的控制台终端。 举个例子，用下面的命令运行 httpd 容器： [root@host1 ~]# docker run -p 80:80 httpd Unable to find image 'httpd:latest' locally latest: Pulling from library/httpd 5e6ec7f28fb7: Pull complete 566e675a8212: Pull complete ef5a8026039b: Pull complete 22ecb0106557: Pull complete 91cc511c603e: Pull complete Digest: sha256:44daa8e932a32ab6e50636d769ca9a60ad412124653707e5ed59c0209c72f9b3 Status: Downloaded newer image for httpd:latest AH00558: httpd: Could not reliably determine the server's fully qualified domain name