filebeat

目录 ELK--04 使用redis优化方案 1.filebeat引入redis缓存 (redis 单节点) 2.filebeat引入redis完善方案 （使用两台服务器完成redis高可用） 3.filbeat引入redis优化方案 ELK--04 使用redis优化方案 1.filebeat引入redis缓存 (redis 单节点) filebeat收集日志传给redis，因为redis和es不能直接通信，需要中间件logstash从redis中取数据传给es，es在传给kibana展示数据 1.安装redis [root@db01 ~]# yum install redis [root@db01 ~]# sed -i 's#^bind 127.0.0.1#bind 127.0.0.1 10.0.0.51#' /etc/redis.conf [root@db01 ~]# systemctl start redis [root@db01 ~]# netstat -lntup|grep redis [root@db01 ~]# redis-cli -h 10.0.0.51 2.停止docker容器 [root@db01 ~]# docker stop $(docker ps -q) 3.停止filebeat [root@db01 ~]# systemctl stop

前几日，同事收到很多异常报警，发现调用下游一个基础服务大量超时。经过讨论，为了防止服务宕机，我们把流量入口给拦住（我们的系统主要是处理上游推下来的Mq消息，就是将Mq消费入口给拦了）。我们还想着这样就能万事大吉应该不会产生脏数据。默默的等着下游系统解决问题。突然陆续收到服务宕机，7台核心业务服务器无一幸免全都挂了。 这时，我们想找出dump信息，看是不是jvm触发的，结果找了一圈都没有看到相关信息。既然，没有dump信息那肯定就不是JVM触发的kill（因为我们线上服务都开启异常自动dump堆栈的功能）。难道是内核因为内存不足触发的吗？触发日志在哪里可以看到呢？由于头次遇到，只能借助网上的力量，网上说输入 grep 'Out of memory' /var/log/messages。（其实就是在系统日志里面查看是不是能找到内存溢出的相关信息），果然有类似日志，如下图所示： 但是，日志也看不出来是什么原因导致的kill啊。想着上下翻动日志，看不懂。这个时候又只能借助网络。网上说内核触发了kill也可以通过 dmesg 命令查看（该命令是记录开机启动信息的）。通过现学，发现其实在上图的那条日志前面还保存了，内核kill进程之前的内存占用情况。如下图所示： 这是在图中找到了答案，系统总内存是8G，而filebeat（架构组的日志采集工具）占用2个多G，java进程占用4个多G

ELK日志收集系统 一：软件包下载地址 二：环境准备 三：kibana安装与配置 四：安装nginx 五：filebeat安装配置 5.1 配置filebeat收集nginx日志 5.2 kibana设置 一：软件包下载地址 本文所需要所有软件包下载地址： 链接：https : // pan . baidu . com / s / 1J2rbPZkWEfg_M8k3W8jQPQ 提取码：x3i9 二：环境准备 Elasticsearch的安装见： Elasticsearch集群 IP 系统 硬件配置 软件部署 172.17.2.239 CentOS7.4 2 CPU, 4G MEM elasticsearch6.6.0，kibana6.6.0，nginx，filebeat 172.17.2.240 CentOS7.4 2 CPU, 4G MEM nginx，filebeat 三：kibana安装与配置 [ root@node01 tools ] # yum localinstall -y kibana-6.6.0-x86_64.rpm kibana配置文件： [ root@node01 kibana ] # grep '^[a-z]' /etc/kibana/kibana.yml server . port : 5601 server . host : "172.17.2.239"

背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 我认为，日志数据在以下几方面具有非常重要的作用： 数据查找 ：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断 ：通过对日志信息进行统计、分析

ELK之间的合作机制： L （Logstash）作为信息收集者，主要是用来对日志的搜集、分析、过滤，支持大量的数据获取方式，一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。 E (Elasticsearch)作为数据的保存者，保存来自L（Logstash）收集的系统日志数据。 K （Kibana ）作为展示者，主要是将ES上的数据通过页面可视化的形式展现出来。包括可以通过语句查询、安装插件对指标进行可视化等。 ELK架构图 ELK的工具 ELK新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Filebeat隶属于Beats。目前Beats包含四种工具： 1 、Packetbeat（搜集网络流量数据） 2 、Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据） 3 、Filebeat（搜集文件数据） 4 、Winlogbeat（搜集 Windows 事件日志数据） Metricbeat 系统级监控。 用于从系统和服务收集指标。从 CPU 到内存，从 Redis 到 Nginx，Metricbeat

EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志分析系统解决方案。 EFK 和 ELK 只有一个区别， 收集日志的组件由 Logstash 替换成了 FileBeat ，因为 Filebeat 相对于 Logstash 来说有2个好处： 1、侵入低，无需修改 elasticsearch 和 kibana 的配置； 2、性能高，IO 占用率比 logstash 小太多； ELK可参考： https://blog.51cto.com/14227204/2442249 当然 Logstash 相比于 FileBeat 也有一定的优势，比如 Logstash 对于日志的格式化处理能力，FileBeat 只是将日志从日志文件中读取出来，当然如果收集的日志本身是有一定格式的，FileBeat 也可以格式化，但是相对于Logstash 来说，效果差很多。 Filebeat 隶属于 Beats。目前 Beats 包含六种工具： Packetbeat（搜集网络流量数据） Metricbeat（搜集系统、进程和文件系统级别的

文章目录 一、ELK简介 1、认识ELK 2、ELK架构图 3、ELFK架构 ELFK架构图 二、ELK分布式日志平台搭建 搭建流程 1、在相应容器下载所需要软件 2、安装Elasticsearch 3、解决Elasticsearch启动报错 4、安装Kibana 5、安装Logstash 三、ELK收集标准输入日志，并在web界面显示 作为运维人员，其价值不在于部署大量服务，而在于排错及服务性能优化，优化主要是考的是对服务配置及其参数的理解，而排错我们主要是借助日志文件，来完成的，早期我们借助sed、awk、grep三剑客在一般中小企业还是有很大的作用。但是在大企业的集群架构中，三剑客已经略显疲态，日志收集与处理的非常难，而且不方便。于是ELK分布式日志平台就应运而生！ 大家可以用三剑客尝试模拟千万级别pv的日志分析，完全就是不可行的！百万级别的pv就已经很吃力了！ 一、ELK简介 1、认识ELK ELK并不是一款独立的软件服务，而是三个软件的统称，它们分别是Elasticserach、Logstash、Kibana。ELK主要用于对大量服务器的各种日志进行集中化管理，同时可以对日志进行分析。 Elasticsearch是基于JAVA语言开发的，是分布式存储、搜索引擎，底层是使用lucene检索机制，主要是用于集中化管理日志、对日志内容进行分析和统计，实时、快速展示结果

背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含沪江网校，交易，金融，CCtalk（直播平台） 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 我认为，日志数据在以下几方面具有非常重要的作用： 数据查找：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断：通过对日志信息进行统计、分析

https://my.oschina.net/itshare/blog/775466 http://blog.51cto.com/467754239/1700828 日志系统 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 日志数据在以下几方面具有非常重要的作用： 数据查找：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断：通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态 数据分析：可以做进一步的数据分析，比如根据请求中的课程 id ，找出 TOP10 用户感兴趣课程。