Elastic Stack

使用elastic stack搭建日志收集分析系统 1. elasticsearch的搭建 2. cerebro的搭建 3. kibana的搭建 4. fielbeat的搭建 随着公司的发展，需要一个日志分析系统，来分析用户数据，为了调研，所以先使用elastic stack搭建了一个单节点的日志收集分析系统。 使用技术：elasticsearch7.1.1、cerebro0.9.0、kibana7.1.1、filebeat7.1.1。 1. elasticsearch的搭建 elasticsearch的搭建 先在官网下载es7.1.1安装包，上传到服务器之后解压。 新建esuser用户。es出于安全考虑，不推荐使用root用户运行。 # 添加用户组 groupadd esgroup # 添加用户 useradd -g esgroup esuser # 修改密码 passwd esuser 修改elasticsearch目录权限。 chown -R esuser:esgroup elasticsearch-7.1.1/ 选择合适的位置，新建es_data(存储es数据)，es_logs(存储es日志)目录，并修改文件夹权限为 esuser:esgroup。 mkdir es_data mkdir es_logs chown -R esuser:esgroup es_data

Github地址 | Gitee地址 介绍 frostmourne(霜之哀伤)是一个开源的Elasticsearch日志数据监控报警系统，用于帮助开发监控应用日志，现主要用于监控Elasticsearch数据。如果你现在使用Elastic stack(ELK)建立起了日志系统，却苦恼于没有一个配套日志监控系统，也许它能帮到你。 主要功能 Elasticsearch数据监控, 你只需要写一条查询就可以轻松搞定监控 多种数值聚合类型监控(count,min,max,avg,sum), 同比监控 HTTP数据监控, 表达式判断是否报警 UI功能，简单易用 监控管理，测试，另存。执行日志，历史消息。 灵活的报警消息freemarker模板定制，支持变量 多种消息发送方式(email,短信,钉钉(机器人),企业微信(机器人), HTTP请求) 多数据源(Elasticsearch集群)支持 Elasticsearch数据查询,分享,下载 报警消息附带日志查询短链接，直达报警原因 报警消息抑制功能，防止消息轰炸 每个监控都是独立调度，互不影响 自带账号,团队,部门信息管理模块，也可自己实现内部对接 集成LDAP登录认证 权限控制，数据隔离，各团队互不影响 在线demo 为了更快的理解本项目的作用，提供了一个接口全mock的静态站点供大家预览功能: 在线demo 在线demo更新不及时

第一种就是 按照官方文档进行配置，指定证书位置开启。 Run the Elastic Stack in Docker with TLS enabled . 第二种就是 9200 端口只暴露给本机，127.0.0.1:9200:9200，外部访问使用反向代理，简化掉自身配置 TLS 这一步。 Link： https://www.cnblogs.com/farwish/p/12864793.html 来源： oschina 链接： https://my.oschina.net/u/4403110/blog/4279714

学习真的是一件令人开心的事情，上次分享了 Redis 入门 的文章后，收到了很多小伙伴的鼓励，比如说：“哎呀，不错呀，二哥，通俗易懂，十分钟真的入门了”。瞅瞅，瞅瞅，我决定再接再厉，入门一下 Elasticsearch，因为我们公司的商城系统升级了，需要用 Elasticsearch 做商品的搜索。 不过，我首先要声明一点，我对 Elasticsearch 并没有进行很深入的研究，仅仅是因为要用，就学一下。但作为一名负责任的技术博主，我是用心的，为此还特意在某某时间上买了一门视频课程，作者叫阮一鸣。说实话，他光秃秃的头顶让我对这门课程产生了浓厚的兴趣。 经过三天三夜的学习，总算是入了 Elasticsearch 的门，我就决定把这些心得体会分享出来，感兴趣的小伙伴可以作为参考。遇到文章中有错误的地方，不要手下留情，过来捶我，只要不打脸就好。 01、Elasticsearch 是什么 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 以上引用来自于官方，不得不说，解释得蛮文艺的。意料之中和意料之外，这两个词让我想起来了某一年的高考作文题（情理之中和意料之外）。 Elastic Stack 又是什么呢？整个架构图如下图

少点代码，多点头发 本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。 https://github.com/midou-tech/articles 从今天开始准备给大家带来全新的一系列文章，Elasticsearch系列 新系列肯定会有很多疑惑，先为大家答疑解惑，下面是今天要讲的问题 为什么写Elasticsearch系列文章？ 之前在文章中也陆陆续续的提到过，龙叔是做搜索引擎的。搜索引擎技术属于商业技术，大家耳熟能详的百度搜索，Google搜索，这可都是因为把握核心搜索技术，从而诞生了商业帝国。 每个互联网大厂都想去分一杯搜索的羹，360搜索、神马、头条、搜狗搜索等等，由此可见搜索技术的商业作用和机密性了。 搜索把握用户的入口 蘑菇街的搜索引擎是一款使用C++开发、完全自研、没有开源的搜索引擎，没有开源就是不能随便写出来的。 但是现在不一样了 第一、我离职了，离开了意味着不在持有那些商业机密了，就算不讲出来我也没啥心理负担(但还是不能讲的，离职协议写的很清楚，不能 泄露公司商业机密 )。 第二、去新的公司还是在搜索领域，他们用Es Elasticsearch是一个开源搜索，开源的东西可以随便说，但还是不能说公司的 商业数据 。 自己一直在搜索领域做，输出搜索相关的文章，第一个可以让自己更好的学习和总结，第二个可以让粉丝们了解到搜索这个神秘的技术

0x00 概述 此文力求比较详细的解释DNS可视化所能带来的场景意义，无论是运维、还是DNS安全。建议仔细看完下图之后的大篇文字段落，希望能引发您的一些思考。 在“F 5利用Elastic stack（ELK）进行应用数据挖掘系列（2）-DNS ”一文中阐述了通过DNS logging profile进行DNS可视化的一种方法。DNS logging profile本身对解析和响应是发出的两条日志，因此在上篇文章中我们其实用了一些特殊的方法来处理一些我们想要的场景。所以这样的处理方式可能不够灵活，也不够优雅。通过logstash根据Query ID进行日志聚合后再处理也是一种思路，但是日志聚合本身这个动作需要仔细处理以防止聚合出错。同时即便使用了聚合，由于DNS logging profile输出的内容是固定的，因此在灵活性上依旧差那么一些。这篇文章则给大家提供了另一外一种形式的可视化。从通用性角度来说，更建议使用本篇文章中的方法，不受BIGIP DNS(GTM)版本及模块license类型的影响。 0x01 方法思路 iRule通过HSL输出必要的解析日志数据至elk 0x02 Dashboard与可视图分析 在整个dashboard中，划分了这样几个功能区域： 最上面的解析来源地理热力图，可以清晰的看出哪些地方是热点解析区域。热点解析区域，结合DNS TTL参考

1 环境 IP Hostname OS Version Elasticsearch Version 192.168.7.41 es-node1 Ubuntu 18.04.3 7.6.1 192.168.7.42 es-node2 Ubuntu 18.04.3 7.6.1 192.168.7.43 es-node3 Ubuntu 18.04.3 7.6.1 禁用swap，同步时间。 2 安装步骤 2.1 安装elasticsearch 安装包下载路径： https://mirror.tuna.tsinghua.edu.cn/elasticstack/apt/7.x/pool/main/e/elasticsearch/ # dpkg -i elasticsearch-7.6.1-amd64.deb 2.2 编辑elasticsearch服务配置文件 # grep -v "^#" /etc/elasticsearch/elasticsearch.yml cluster.name: hechunping-es #elasticsearch集群名称，集群中的每个节点必须一致 node.name: es-node1 #elasticsearch节点名称，集群中的每个节点必须唯一 path.data: /elk/data #elasticsearch数据存放目录 path.logs: /elk

filebeat 配置 filebeat output 配置 filebeat filter 配置 filebeat _ es ingest node filebeat module 收集NGINX log Packetbeat Logstash codec Logstash Beats 来自 https://time.geekbang.org/course/detail/100030501-141191 来源： oschina 链接： https://my.oschina.net/ouminzy/blog/4269763

[toc] 原文： Structured Logging: The Best Friend You’ll Want When Things Go Wrong 介绍    在这篇文章里，我们重点介绍结构化日志。我们讨论是是什么，为什么好，以及如何构建一个框架更好的与我们当前基于 Elastic stack 的日志后端集成，使我们更好，更高效记日志。    结构化日志是我们竭力做的很大一部分，结构化日志能让我们减少bug解决时间（MTTR），中断时帮助开发人员更快地缓解问题。 什么是日志？    日志是包含有关系统中发生一些事件的几行文本信息，并且起着帮助我们了解后端正在发生的事情的重要作用。日志通常放置于重要事件的代码中（例如：成功操作某些数据库，或者指派司机给乘客），或我们感兴趣留意的代码中。    当有错误时，正常开发者做的第一件事情就是查看日志——有点像浏览系统的历史，并且找出发生了什么。因此，在服务中断、错误、构建失败时，日志成为开发人员最好的朋友。 现在的日志具有不同的格式和功能 日志格式 ：从基于键-值（像syslog）到非常结构化和详细（像JSON）。由于日志主要用于开发者的眼睛，因此日志详细和结构化程度决定了开发者查询和阅读日志的速度。数据越结构化——每行日志就越大，尽管更易于查询和包含更丰富的信息。 等级日志（或日志等级） ：不同等级对应着不同重要性的日志

【推荐阅读】微服务还能火多久？>>> 转载自： https://blog.csdn.net/UbuntuTouch/article/details/105527468 APM Agents 访问APM server如果不做安全的设置，那么任何一个应用都有可能把数据传输到APM server中。 如果是恶意的软件，那么我们可能得到的数据是错误的。那么怎么保证我们的安全传输呢？ 答案是在传输的时候使用secret token。 Secret token 是什么？ 您可以配置一个Secret token来授权对APM服务器的请求。 这样可以确保只有您的Agent才能将数据发送到您的APM服务器。 代理和APM服务器都必须配置相同的Secret toke，并且scecret token仅在与SSL/TLS结合使用时才提供安全性。 要使用Secret token 保护APM代理与APM服务器之间的通信安全： 在APM服务器中启用SSL/TLS 在Agent和服务器中设置Secret token 在APM agent中启用HTTPS 生成证书 在Elasticsearch安装的根目录下打入如下的命令： ./bin/elasticsearch-certutil ca --pem This tool assists you in the generation of X.509