Telegraf

metrics 客户端 数据采集使用 go-metrics 传输使用UDP, 仿StatsD上传采集数据, InfluxDB进行数据存储, Grafana进行展示。 实现github 地址 https://github.com/solate/metrics 该地址有已经改好的配置文件可以直接使用。 使用的all-in-one : git docker-statsd-influxdb-grafana docker hub 地址 数据封装 //挂载配置文件，已修改statsd模版 docker run --ulimit nofile=66000:66000 -v /root/telegraf.conf:/etc/telegraf/telegraf.conf -d --name docker-statsd-influxdb-grafana -p 3003:3003 -p 3004:8888 -p 8086:8086 -p 8125:8125/udp samuelebistoletti/docker-statsd-influxdb-grafana:latest register register 使用的name 必须是不同的 telegraf 配置修改 将 [[inputs.statsd]] 部分配置打开, 修改templates为: templates = [ "*

kafka监控工具比较多，有kafka monitor,kafka manager, kafka eagle,KafkaOffsetMonitor 等，但是监控consumer lag最好用的当属burrow. Burrow是linkedin开源的一个监控Apache Kafka的工具，burrow可以将消费者滞后检查作为一项服务来对外提供。 它监视所有消费者的承诺偏移量，并根据需要计算消费者的状态，提供HTTP endpoint接口来获取消费者状态，能够监控Consumer消费消息的延迟,从而监控应用的健康状况，并且可以同时监控多个Kafka集群。 通知器可以通过配置电子邮件或HTTP通告进行告警，而无需指定阈值，他完全是基于消费过程的动态评估。同时可以监控offset提交到broker,zk两种方式,还可以作storm的消费监控，报警支持http, email想要扩展个自己的短信报警什么的也是超简单。 第一步安装采集器burrow 下载tar包 https://github.com/linkedin/Burrow/releases 解压后修改config/burrow.toml配置文件 主要是修改日志文件地址和增加kafka集群配置，同时可以增加zookeeper的模式。 进入到解压目录执行 nohup burrow -config-dir=config/ & 就直接启动了

安装3个软件 1.Grafana安装 grafana , 访问各类数据源 , 自定义报表、显示图表等等 , 用于提供界面监控 , 默认端口为3000 ,如http://127.0.0.1:3000访问, 默认登陆信息账号和密码分别admin和admin 本人系统版本 centos7 ，用yum安装 yum install https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.6.3-1.x86_64.rpm #启动服务 systemctl start grafana #查看服务状态 systemctl status grafana 其他版本安装参考官网： http://docs.grafana.org/installation/rpm/ 2.InfluxDB 安装 InfluxDB是一个开源数据库别名时序数据库，针对时间序列数据的快速，高可用性存储和检索进行了优化。 InfluxDB非常适合运营监控，应用指标和实时分析。默认端口为Web端8083 , API端8086 #新建一个源仓库 vi /etc/yum.repos.d/influxdata.repo #输入以下内容 [influxdb] name = InfluxData Repository - RHEL $releasever

随着服务的复杂度上升，对服务的监控和管理的需求显著增加，开发人员可以使用Jconsole、jvisualvm、jinfo、jstat等工具分析服务的运行状况，但是对于运维人员以及其他非开发人员就不具有可行性；故需要搭建一套图形化的监控平台。 简介 Actuator actuator是spring boot提供的对应用系统的自省和监控的集成功能，可以对应用系统进行配置查看、相关功能统计等。 Actuator使用方法 Jolokia Spring Boot Actuator对外暴露应用的监控信息，Jolokia提供使用HTTP接口获取JSON格式 的数据。 Jolokia使用方法 Telegraf 收集系统和服务的统计数据，并支持写入到 InfluxDB 数据库。 官方地址 Influxdb InfluxDB 是一个开源分布式时序、事件和指标数据库。它具备如下主要特性； 官方地址 Time Series （时间序列）：你以使用与时间有关的相关函数（如最大，最小，求和等） Metrics（度量）：你可以实时对大量数据进行计算 Eevents（事件）：它支持任意的事件数据 Grafana Grafana 是一个开箱即用的可视化工具，具有功能齐全的度量仪表盘和图形编辑器，有灵活丰富的图形化选项，可以混合多种风格，支持多个数据源特点。 官方地址 安装 Telegraf 使用Centos