kibana

ELK 日志收集系统

由 半城伤御伤魂 提交于 2021-02-20 14:15:31
1. ELK简介 在传统项目中，如果在生产环境中，有多台不同的服务器集群，如果生产环境需要通过日志定位项目的Bug的话，需要在每台节点上使用传统的命令方式查询，这样效率非常低下。因此我们需要集中化的管理日志，ELK则应运而生。ELK=ElasticSeach+Logstash+Kibana，本项目采用的是 ElasticSeach + Logstash + kafka + Kibana 2. 各个组件介绍 2.1 Logstash Logstash 主要用于收集服务器日志，它是一个开源数据收集引擎，具有实时管道功能。Logstash 可以动态地将来自不同数据源的数据统一起来，并将数据标准化到您所选择的目的地。 Logstash 收集数据的过程主要分为以下三个部分： 输入：数据（包含但不限于日志）往往都是以不同的形式、格式存储在不同的系统中，而 Logstash 支持从多种数据源中收集数据（File、Syslog、MySQL、消息中间件等等）。 过滤器：实时解析和转换数据，识别已命名的字段以构建结构，并将它们转换成通用格式。 输出：Elasticsearch 并非存储的唯一选择，Logstash 提供很多输出选择。 2.2 Elasticsearch Elasticsearch （ES）是一个分布式的 Restful 风格的搜索和数据分析引擎，它具有以下特点： 查询

Can variables be used in elasticsearch index templates?

由 大憨熊 提交于 2021-02-20 05:15:01
问题 I have a variety of elasticsearch indices which are created daily by logstash with the format: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting-v2-%{+YYYY.MM.dd}" I would like to create an alias in elasticsearch which drops the version number from the index name. I am planning to point my kibana instance at the aliased index rather than the versioned index so that I can change the version numbers without impacting kibana. index: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting

Can variables be used in elasticsearch index templates?

由 。_饼干妹妹 提交于 2021-02-20 05:11:32
问题 I have a variety of elasticsearch indices which are created daily by logstash with the format: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting-v2-%{+YYYY.MM.dd}" I would like to create an alias in elasticsearch which drops the version number from the index name. I am planning to point my kibana instance at the aliased index rather than the versioned index so that I can change the version numbers without impacting kibana. index: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting

Can variables be used in elasticsearch index templates?

由 旧街凉风 提交于 2021-02-20 05:08:36
问题 I have a variety of elasticsearch indices which are created daily by logstash with the format: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting-v2-%{+YYYY.MM.dd}" I would like to create an alias in elasticsearch which drops the version number from the index name. I am planning to point my kibana instance at the aliased index rather than the versioned index so that I can change the version numbers without impacting kibana. index: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting

Can variables be used in elasticsearch index templates?

由 假如想象 提交于 2021-02-20 05:05:53
问题 I have a variety of elasticsearch indices which are created daily by logstash with the format: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting-v2-%{+YYYY.MM.dd}" I would like to create an alias in elasticsearch which drops the version number from the index name. I am planning to point my kibana instance at the aliased index rather than the versioned index so that I can change the version numbers without impacting kibana. index: "logstash-%{cluster_type}-%{cluster_name}-jobaccounting

Kubernetes nginx ingress rabbitmq management and kibana

由 纵饮孤独 提交于 2021-02-18 11:28:12
问题 On my AKS cluster I have a Nginx ingress controller that I used to reverse proxy my kibana service running on the AKS. I want to however add another http services through the ingress, rabbitmq management console. I'm unable to get both to work with the following configuration: apiVersion: extensions/v1beta1 kind: Ingress metadata: name: ingress-aegis namespace: dev annotations: kubernetes.io/ingress.class: nginx certmanager.k8s.io/cluster-issuer: letsencrypt-prod nginx.ingress.kubernetes.io

Spring Boot Actuator

由 旧巷老猫 提交于 2021-02-17 03:44:28
编者注 由于开发一个对性能要求很强的后台应用，突然发现部署到aliyun发生问题，而普通笔记本没有任何问题，则需要持续一段时间的监控定位函数执行时间，分析过程，并添加健康检查的可视化内容。 Actuator [Spring Boot Actuator: Production-ready features](Part V. Spring Boot Actuator: Production-ready features) SpringBoot Actuator Spring Boot 包含了Spring Boot Actuator。本段回答一些经常出现的。 更改Actuator Endpoints的Http端口或者地址 在独立应用中，Actuator HTTP端口默认与应用HTTP端口一致。希望Actuator使用不同端口，设置扩展属性： management.server.port 。设置完全不同的网络地址（例如：当你有一个用于管理的内部网卡和使用应用的外部网卡），你可以设置 management.server.address 提供一个服务可以绑定的有效地址。 更多详情，请看 ManagementServerProperties 的源代码， 段落 54.2 "自定义管理服务端口" 在生产就绪特性端口中。 自定义‘whitelabel’错误页 Spring Boot 安装一个

IK分词器插件elasticsearch-analysis-ik 6.1.1

由 天大地大妈咪最大 提交于 2021-02-16 13:28:27
http://88250.b3log.org/full-text-search-elasticsearch#b3_solo_h3_0 IK分词器插件 （1）源码 https://github.com/medcl/elasticsearch-analysis-ik （2）releases https://github.com/medcl/elasticsearch-analysis-ik/releases （3）复制zip地址 https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.1.1/elasticsearch-analysis-ik-6.1.1.zip 4.2 安装插件 （1）elasticsearch-plugin [es @node1 elasticsearch- 6.1. 1] $ bin/elasticsearch-plugin install https:/ /github.com/medcl /elasticsearch-analysis-ik/releases /download/v6. 1.1/elasticsearch-analysis-ik- 6.1. 1.zip -> Downloading https:/ /github.com/medcl

Elasticsearch基本操作

由 …衆ロ難τιáo~ 提交于 2021-02-16 03:00:59
在学习Elasticsearch的过程中想找一些可以系统的描述es操作的文章，但是官网没有中文页面，ES中文指南的排版和翻译又很突兀和不协调，因此决定自己看一遍官方的maunal总结一下,由于没时间把所有章节全部翻一遍，所以写一篇学习笔记以便完成初步的学习。 概念总览： 在描述ES的基本操作之前，首先来介绍几个概念： Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch -> Indices -> Types -> Documents -> Fields 以上是早期的官方文档贴出的一个概念介绍图，其含义不用多说，其实ES更适合与MongoDB类比： MongoDB -> DBs -> Collections -> Documents -> Fields Elasticsearch -> Indices -> Types -> Documents -> Fields ES里的Index可以看做一个库，Documents相当于表的行，而Types相当于表。 但是Types的概念将会被逐渐弱化并可能在未来版本中删除，而在Elasticsearch 6中，一个index下已经只能包含一个type了，因此可以将index理解为一个表，types意如其名仅用于展示一个document所属的分类

docker elk

由 坚强是说给别人听的谎言 提交于 2021-02-15 03:53:17
1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 2、四大组件 Logstash: logstash server端用来搜集日志； Elasticsearch: 存储各类日志； Kibana: web化接口用作查寻和可视化日志； Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server； 3、ELK工作流程 在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到Redis，然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch
订阅 kibana