graphite

from: https://www.cnblogs.com/imyalost/p/9873641.html 可视化工具Grafana：简介及安装 随着业务的越发复杂，对软件系统的要求越来越高，这意味着我们需要随时掌控系统的运行情况。因此，对系统的实时监控以及可视化展示，就成了基础架构的必须能力。 这篇博客，介绍下开源的可视化套件grafana的安装及其功能特点。。。 官网地址： Grafana 官方文档： Grafana文档 环境：CentOS7.4 64位 Grafana版本：5.3.2 一、Grafana介绍 Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点： 1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式； 2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等； 3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知； 4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源

总览 将 DevOps 实施的过程分为了这么几个步骤： 建立愿景与方向 度量：组织、系统现状 准入条件 。查看是否满足实施 DevOps 的准入条件。 探索可行方案 。即 MVP 尝试 MVP 。一次快速的 DevOps 过程和结果的 showcase。 精细的 DevOps 实施 回顾优化 规模化 DevOps 落地 对应的在手册中，还包含了 附录 1：移动应用的自动化测试 附录 2：可信软件系统 10 要素 附录 3：基本概念 建立愿景与方向 启动会议 利益相关者会议 业务关注点 组成部分标题 内容 问题 为什么对组织来说引入 DevOps 实践是有好处的？ 成本 引入 DevOps 实践的预期成本是什么？ 干系人影响 对内部和外部干系人的影响是什么？ 风险和缓解 与引入 DevOps 实践相关联的组织和技术风险是什么？如何减缓这些风险？ 推出计划 推出 DevOps 的实践计划是什么？ 成功标准 我们如何知道 DevOps 实践的引入是成功的 ？ —— 《DevOps 架构师行动指南》 识别目标和现状 自评 差距分析 确认团队 优先选择优秀的团队？ 设立里程碑 时间节点-团队-活动-产出表 落地策略 DevOps 转型策略 自行落地 1. 组织层级解决跨团队协作 2. 建立 DevOps 知识库 顺带一提，Ledge 已经成为了多个 DevOps

Logstash https://www.elastic.co/cn/logstash 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 Logstash is an open source data collection engine with real-time pipelining capabilities. Logstash can dynamically unify data from disparate sources and normalize the data into destinations of your choice. Cleanse and democratize all your data for diverse advanced downstream analytics and visualization use cases. How Logstash Works https://www.elastic.co/guide/en/logstash/current/pipeline.html#pipeline The Logstash event processing pipeline has three stages: inputs → filters

配置Nginx 日志 Nginx 默认的access 日志为log格式，需要logstash 进行正则匹配和清洗处理，从而极大的增加了logstash的压力 所以我们Nginx 的日志修改为json 格式 。 Nginx access 日志和 Nginx error 日志 http { include /etc/nginx/mime.types; default_type application/octet-stream; log_format json '{"@timestamp":"$time_iso8601",' '"server_addr":"$server_addr",' '"hostname":"$hostname",' '"remote_add":"$remote_addr",' '"request_method":"$request_method",' '"scheme":"$scheme",' '"server_name":"$server_name",' '"http_referer":"$http_referer",' '"request_uri":"$request_uri",' '"args":"$args",' '"body_bytes_sent":$body_bytes_sent,' '"status": $status,' '"request

1.前言 在使用jmeter做性能测试的时候，监控系统性能的时候，无论是使用插件还是报告生成，都没法实现实时监控。使用JMeter+Influxdb+Grafana可以实现实时监控。 本次环境搭建各软件版本说明： Grafana v6.2.5 InfluxDB 1.7.0 JMeter 5.2.1 2.Influxdb简介 　InfluxDB是用Go语言编写的高性能、高可用的分布式时序数据存储数据库，无其他依赖，安装简单快速。 　　该数据库现在主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics, loT传感器数据和实时分析数据。 InfluxDB特征： 无结构(无模式)：可以是任意数量的列 可以设置metric的保存时间 支持与时间有关的相关函数(如min、max、sum、count、mean、median等)，方便统计 支持存储策略:可以用于数据的删改。(influxDB没有提供数据的删除与修改方法) 支持连续查询:是数据库中自动定时启动的一组语句，和存储策略搭配可以降低InfluxDB的系统占用量。 原生的HTTP支持，内置HTTP API 支持类似sql语法select * from mysql.user 支持设置数据在集群中的副本数 支持定期采样数据，写入另外的measurement，方便分粒度存储数据。 schemaless:

GPE监控预警系统（Grafana+Prometheus+Exporter） GPE监控预警系统结构图 一： Grafana 1：简介 大规模指标数据的可视化展现，是网络架构和应用分析中最流行的时序数据展示工具、目前已经支持绝大部分常用的时序数据库。 Grafana支持许多不同的数据源。每个数据源都有一个特定的查询编辑器,该编辑器定制的特性和功能是公开的特定数据来源。 官方支持以下数据源:Graphite，Elasticsearch，InfluxDB，Prometheus，Cloudwatch，MySQL和OpenTSDB等 2：安装 ==linux下安装== Step1：下载 wget https://dl.grafana.com/oss/release/grafana-6.5.1-1.x86_64.rpm sudo yum localinstall grafana-6.5.1-1.x86_64.rpm Step2：启动 sudo service grafana-server start Step3：访问 安装成功后浏览器输入 localhost:3000 可以访问grafana主页,grafana默认端口3000、默认用户名和密码为admin/admin Step1：下载 wget https://s3-us-west-2.amazonaws.com/grafana

[toc] 本文参考： 《Prometheus官方文档》 ，或网盘下载 《Prometheus操作指南.pdf》 (提取码：1l8m) 一、Prometheus安装部署 1. 简介 Prometheus受启发于Google的Brogmon监控系统（相似的Kubernetes是从Google的Brog系统演变而来），从 2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发，并且于2015年早期对外发布早期版本。 2016年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目，同年6月正式发布1.0版本。2017年底发布 了基于全新存储层的2.0版本，能更好地与容器平台、云平台配合。 Prometheus作为新一代的云原生监控系统，目前已经有超过650+位贡献者参与到Prometheus的研发工作上，并且 超过120+项的第三方集成。 监控的目的 长期趋势分析：通过对监控样本数据的持续收集和统计，对监控指标进行长期趋势分析。例如，通过对磁盘空间 增长率的判断，我们可以提前预测在未来什么时间节点上需要对资源进行扩容。 对照分析：两个版本的系统运行资源使用情况的差异如何？在不同容量情况下系统的并发和负载变化如何？通过 监控能够方便的对系统进行跟踪和比较。 告警：当系统出现或者即将出现故障时，监控系统需要迅速反应并通知管理员

背景 最近花了些时间看了下 ClickHouse文档 ，发现它在OLAP方面表现很优异，而且相对也比较轻量和简单，所以准备入门了解下该数据库系统。在介绍了 安装 和 用户权限管理 之后，本文对其配置文件做下相关的介绍说明。 说明 ClickHouse的配置文件是config.xml，默认在/etc/clickhouse-server/目录中，可以在conf.d和config.d目录中的*.xml和*.conf文件中覆盖各个设置。还可以为这些配置文件的元素指定replace或remove属性，如果均未指定，它将以递归方式合并元素的内容，从而替换重复子元素的值。如果指定了replace，将用指定的元素替换整个元素。如果指定了remove，则删除该元素。 　　配置文件还可以定义substitutions（替代）。如果元素具有 incl 属性，则文件中的相应值将被替换。替换文件的路径为/etc/metrika.xml。可以在配置文件加入 include_from 元素进行更改。替换值在此文件的/yandex/substitution_name元素中指定。如果 incl 中指定的替代不存在，则将其记录在日志中。为了防止ClickHouse记录缺少的替代项，请指定： optional= true 属性。 可以从ZooKeeper中进行替换，指定属性from_zk =“ /path/to