InfluxDB

理想很丰满，现实很骨感，线上业务系统，绝对不会万事如意，外在因素太多，总会出现这样那样的问题，所以，智能监控和报警，变得尤为重要；线上问题永远都是最重要的问题，必须尽早发现尽早解决。 一、背景 一张网络图，比较形象的描述线上业务系统的状况，虽然有点儿夸张，但这不假： 二、大纲 业务监控系统架构分析 监控模块的设计与优化 监控智能化的一些尝试 三、业务监控系统架构 没有完美的架构，任何架构都是平衡妥协的结果 3.1 设计背景 监控项不完善，需要快速完善监控项(痛点:快速实施) 运营活动频繁，报警收到麻木(痛点:报警太多) 上线调整时无实时直观的参考(痛点:不及时，不直观) 3.2 主流架构 3.2.1 案例 阿里： 蘑菇街： 3.2.2 特点 架构的核心关键字是:海量、实时 侧重于大数据的处理，报警分析偏弱，没有解决当时的痛点问题 公司已有大数据部门在做类似的事情 监控人手紧张且缺乏相关经验，存在一定风险 思考:大数据是否应该属于监控系统的一部分? 3.3 趣店当前监控架构 基于现有业务监控开发，利用已有资源 利用队列将系统拆分成不同模块，方便升级 利用现有的优秀开源软件 四、监控模块设计与优化 各个模块可以随时被更优的方案替换 4.1 采样模块 采集源： SQL、API、ElasticSea ch (实时日志收集)、其他更多 运行方式： crontab定时运行

DolphinDB Database 是一款分析型的分布式时序数据库，内置处理流式数据处理引擎，具有内置的并行和分布式计算的功能，并提供分布式文件系统，支持集群扩展。DolphinDB以C++编写，响应速度极快。提供类似于Python的脚本语言对数据进行操作，支持类标准SQL的语法。提供其它常用编程语言的API，方便与已有应用程序集成。在金融领域中的历史数据分析建模与实时流数据处理，以及物联网领域中的海量传感器数据处理与实时分析等场景中表现出色。 InfluxDB是一款开源的时序数据库，由Go语言实现。它的核心是一款定制的存储引擎TSM Tree，对时间序列数据做了优化，优先考虑插入和查询数据的性能。InfluxDB使用类SQL的查询语言InfluxQL，并提供开箱即用的时间序列数学和统计函数。适用于监控、实时分析、物联网、传感器数据等应用场景。是目前最为流行的时间序列数据库。 本文将会对DolphinDB和InfluxDB进行性能测试对比。 在本次测试中，硬件配置如下： 设备：DellXPS 8920(07DC) CPU：Inter® Core™ i7-7700 CPU @ 3.60GHz，4核心8线程 内存：16GB 硬盘：512GB SSD 操作系统：Ubuntu 16.04 x64 由于InfluxDB集群版本闭源

打造高逼格、可视化的Docker容器监控系统平台 收录于话题 #Docker 专辑 9个 点击上方“民工哥Linux运维”，选择“置顶公众号” 有趣有内涵的文章第一时间送达！ 为什么需要监控？？ 对于一个物理机上运行多个容器应用时，容器的运行情况如：CPU使用率、内存使用率、网络状态、磁盘空间等信息，都是需要去了解的，因此监控是必须的。对于容器的监控方案可谓多种多样，本身自带命令docker stats。 [root@docker ~]# docker stats CONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS bd96d72ed9c7 0.04% 14.97 MiB / 7.64 GiB 0.19% 8.22 MB / 805 MB 0 B / 0 B 9 665563143eb7 0.01% 18.12 MiB / 7.64 GiB 0.23% 19.7 MB / 18.5 MB 0 B / 39.4 MB 8 f2304dad5855 0.18% 98.45 MiB / 7.64 GiB 1.26% 1.07 GB / 9.97 MB 0 B / 2.13 GB 9 今天民工哥要介绍的是一款开源方案cAdvisor+InfluxDB+Grafana。 组件简介 cAdvisor：用于数据采集

这20个Docker Command，有几个是你会的？ 收录于话题 #Docker 专辑 9个 点击上方“民工哥Linux运维”，选择“置顶公众号” 有趣有内涵的文章第一时间送达！ 在这之前呢，也写过两篇关于Docker基础入门类的文章 Docker容器技术入门（一） Docker容器技术入门（二） 很多人都感觉这文章这么简单、这么基础，可是别忘记了“万丈高楼平地起”，如果少了这个平地址，你这高楼估计也起不了。所以，基础是学习任何一门技术或者一个技术点的重中之重，也可以说是很关键的决胜点。 所以呢，今天，民工哥给大家总结了这20个Docker Command，愿各位小伙伴在通往“玩转Docker”路上不再无助!!!! 安装完成docker容器服务之后，需要了解如何操作它？在shell命令行下直接输入docker就可以查看帮助信息，如下。 [root@master ~]# docker Usage: docker COMMAND A self-sufficient runtime for containers Options: --config string Location of client config files (default "/root/.docker") -D, --debug Enable debug mode --help Print usage -H, -

本文根据石鹏老师在〖deeplus直播第227期〗线上分享演讲内容整理而成。 （文末有获取本期PPT&回放的方式，不要错过） 我们都知道SRE是一个体系化的工程，SRE体系的建设涉及的内容繁多，比如日常需求处理、容量规划、资源部署、监控告警、预案梳理、灾备演练、OnCall值班、应急事件响应、故障处理、运维自动化建设等等；其中「故障」可以算作是这众多事项的一个交汇点。 故障处理是一个特别符合“台上一分钟，台下十年功”这句俗语的场景，一次故障就是一次考试。SRE团队的响应速度、对服务的掌控能力、监控告警的覆盖是否完整、配置是否合理，灾备预案的体系是否完善、是否做了充分的灾备演练、应急预案是否有效....这些都是用于考核SRE体系建设水平的一些指标，都会在「故障处理」的过程中得到淋漓尽致的体现。不管你是研发、测试、运维，或其他“工种”，只要你身处IT行业，「故障」怕都是大家避之唯恐不及却无法绕开的一个梦魇和话题。 我将围绕「故障管理」这个点跟大家聊一聊SRE的工作范畴，跟大家共同探讨SRE体系的建设。希望可以通过分享让大家对故障管理有一个宏观的框架，可以更从容淡定、有章可循地做服务稳定性建设。 本次分享将按照如下的顺序展开： 先聊一聊SRE的工作职责，聊一下我所理解的SRE的核心目标； 初步看一下稳定性建设的工作范畴，看一看从宏观上如何划分我们的工作内容； 然后我们由此进入今天的主题

来源： 华章计算机（hzbook_jsj） DB-Engines 最近发布 了 2020 年 9 月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名， 实时统计了 35 8种数据库的排名指数 。前 10 名的排行情况详见下图： 1-10排名情况 在国产数据库异军突起的现在，Oracle、 MySQL 、 Microsoft SQL Server 前三的宝座短时间内怕是无可超越。 PostgreSQL 也稳居第四名，它包括了可以说是目前世界上最丰富的数据类型的支持，还是全功能的自由软件数据库，很长时间以来，PostgreSQL是唯一支持事务、子查询、多版本并行控制系统（MVCC）、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统。 推荐语： 《MySQL技术内幕：InnoDB存储引擎（原书第2版） 》 资深MySQL专家撰写，全球知名 MySQL 数据库服务提供商 Percona 公司 CTO 作序推荐，国内多位数据库专家联袂推荐。 推荐语： 《数据库高效优化》 本书以大量案例为依托，系统讲解了SQL语句优化的原理、方法及技术要点，尤为注重实践 ， 在章节中引入了大量的案例，便于学习者实践、测试，反复揣摩。 推荐语： 《 PostgreSQL修炼之道：从小工到专家 》 P ostgreSQL中国社区资深数据库专家、沃趣科技首席数据库架构师撰写，

1. 容器监控方案选择 对于容器的监控方案可谓多种多样，本身自带 docker stats 命令，Scout，Data Dog，Sysdig Cloud，Sensu Monitoring Framework，CAdvisor 等。 通过 docker stats 命令可以很方便地看到当前宿主机上所有容器的 CPU、内存以及网络流量等数据。但是 docker stats 命令的缺点就是统计的只是当前宿主机的所有容器，而获取的监控数据是实时的，没有地方存储，也没有报警功能。 而 Scout、Sysdig Cloud、Data Dog 虽然都提供了较完善的服务，但是它们都是托管的服务而且都收费，Sensu Monitoring Framework 集成度较高，也免费，但是部署过于复杂。综合考虑，选择 CAdvisor 做容器监控工具。 CAdvisor 谷歌出品，优点是开源产品，监控指标齐全，部署方便，而且有官方的 Docker 镜像。缺点是集成度不高，默认只在本地保存 2 分钟数据。不过可以加上 InfluxDB 存储数据，对接 Grafana 展示图表，比较顺利地搭建好了容器监控系统，数据收集和图表展示效果良好，对系统性能也几乎没有什么影响。 2. CAdvisor CAdvisor 是一个容器资源监控工具，包括容器的内存、CPU、网络 IO、磁盘 IO 等监控，同时提供了一个

全链路监控是广义的概念，不仅仅指APM(Appliation Perfance Manager&Monitor),包含三大部分： Loggong:日志覆盖系统日志,业务日志,框架日志 Mertic(指标或者度量)：覆盖系统指标，业务指标，中间件指标 Trancing(追踪)：覆盖微服务，存储，中间件 这三者结合起来构成完整的全链路监控体系。是梳理业务，排查问题的基石。 测试环境部署硬件最低要求（所有组件都是单台机器即可） ： 组件 作用 CPU 内存 磁盘类型 磁盘大小 ElasticSearch集群1 统一存储日志 4核 32GB SSD最好 500GB Kibana 查看日志的平台 2核 4GB 普通磁盘 500GB Logstash 日志处理中间件 4核 16GB 普通磁盘 500GB ElasticSearch集群2 zipkinTrace数据收集 4核 32GB SSD最好 500GB Skywalking,zipkin,pinpoint zipkin服务端 & 管理台 4核 16GB 普通磁盘 500GB InfluxDb 存储指标的时间序列数据库 4核 16GB SSD最好 500GB Grafana 查看指标的平台 2核 4GB 普通磁盘 500GB 监控详情讨论,监控覆盖的几个方面。 Metrics线 - 业务监控： 使用Spring Boot

前言 最近几天，好几个小伙伴在后台询问，改造后的 sentinel-dashboard 什么时候开源。讲真，不是不想给大家放出来，是因为一些地方还没有完善好，怕误导了大家，在经过了一个星期业余时间的努力，终于把基础版本搞定了。小伙伴们终于可以进行拉取测试了。 历程 首先回顾一下改造之路： SpringBoot 2.0 + Sentinel 动态限流实战 SpringBoot 2.0 + Nacos + Sentinel 流控规则集中存储 SpringBoot 2.0 + InfluxDB+ Sentinel 实时监控数据存储 阿里巴巴 Sentinel + InfluxDB + Chronograf 实现监控大屏 最终架构 持续学习 sentinel 的学习已经告一段落，后面会持续学 InfluxDB ，它是目前比较流行的时间序列数据库。 那么什么是时间序列数据库？最简单的定义就是数据格式里包含Timestamp字段的数据，比如某一时间环境的温度、湿度，以及机器的CPU的使用率等等。 随着物联网的发展，作为一名程序员，时序数据库是必不可少的一项必备技能。所以，在开源 sentinel-dashboard 项目下，会持续提交一些 InfluxDB 的学习笔记以及使用场景，有兴趣的小伙伴可以一起加入进来。 源码 https://gitee.com/52itstyle/sentinel