rrdtool

Fastest & most flexible way to chart over 2 million rows of flat file data?

孤街醉人 提交于 2020-12-27 08:14:11
问题 I'm collecting some system data in a flatfile, which has this format: YYYY-MM-DD-HH24:MI:SS DD1 DD2 DD3 DD4 Where DD1-DD4 are four items of data. An example of the file is this: 2011-02-01-13:29:53 16 8 7 68 2011-02-01-13:29:58 13 8 6 110 2011-02-01-13:30:03 26 25 1 109 2011-02-01-13:30:08 13 12 1 31 2011-02-01-13:30:14 192 170 22 34 2011-02-01-13:30:19 16 16 0 10 2011-02-01-13:30:24 137 61 76 9 2011-02-01-13:30:29 452 167 286 42 2011-02-01-13:30:34 471 177 295 11 2011-02-01-13:30:39 502 192

Fastest & most flexible way to chart over 2 million rows of flat file data?

不打扰是莪最后的温柔 提交于 2020-12-27 08:13:49
问题 I'm collecting some system data in a flatfile, which has this format: YYYY-MM-DD-HH24:MI:SS DD1 DD2 DD3 DD4 Where DD1-DD4 are four items of data. An example of the file is this: 2011-02-01-13:29:53 16 8 7 68 2011-02-01-13:29:58 13 8 6 110 2011-02-01-13:30:03 26 25 1 109 2011-02-01-13:30:08 13 12 1 31 2011-02-01-13:30:14 192 170 22 34 2011-02-01-13:30:19 16 16 0 10 2011-02-01-13:30:24 137 61 76 9 2011-02-01-13:30:29 452 167 286 42 2011-02-01-13:30:34 471 177 295 11 2011-02-01-13:30:39 502 192

Fastest & most flexible way to chart over 2 million rows of flat file data?

亡梦爱人 提交于 2020-12-27 08:13:11
问题 I'm collecting some system data in a flatfile, which has this format: YYYY-MM-DD-HH24:MI:SS DD1 DD2 DD3 DD4 Where DD1-DD4 are four items of data. An example of the file is this: 2011-02-01-13:29:53 16 8 7 68 2011-02-01-13:29:58 13 8 6 110 2011-02-01-13:30:03 26 25 1 109 2011-02-01-13:30:08 13 12 1 31 2011-02-01-13:30:14 192 170 22 34 2011-02-01-13:30:19 16 16 0 10 2011-02-01-13:30:24 137 61 76 9 2011-02-01-13:30:29 452 167 286 42 2011-02-01-13:30:34 471 177 295 11 2011-02-01-13:30:39 502 192

django 实现linux运维管理平台

孤人 提交于 2020-11-21 07:18:29
概述 使用django实现一个linux运维管理平台,可以实现注册登录,机器管理 ,服务器批量操作,服务器性能监控。 详细 代码下载: http://www.demodashi.com/demo/11242.html 一、准备工作 1、需要准备什么环境 我是在自己的云服务上编写和运行的,centos7.2的环境,python是系统自带的python2.7.5,django安装的1.8.5版本的。数据库使用的mysql5.6版本的,rrdtool版本是rrdtool-1.4.8。 2、本例子实现什么功能 ①、用户管理 ②、资产信息添加和展示 ③、服务器性能监控 ④、服务器批量管理 ⑤、日志管理 ⑥、经验总结编辑和展示 3、django工作原理图: 4、运维管理平台的功能模块图: 5、功能模块介绍: (1)用户登录注册模块 用户登录注册模块包含注册、登录和注销登录的功用。这个模块主要是负责用户注册和登录运维管理系统,用户通过点击注册按钮,页面会跳转到注册页面上,用户按照页面的输入提示框,输入相应的信息完成注册,当用户输入的用户已经被注册了,那么这个时候系统会做出判断,并且给出用户提示,如果注册的用户,之前并没有注册,那么这个时候可以成功注册,并且会有提示给用户。这个时候,用户能够点击登录按钮跳转到登录页面,使用注册成功的账号和密码完成登录操作。 (2)Web页面执行Linux命令

zabbix 二次开发之调用api接口获取历史数据

与世无争的帅哥 提交于 2020-10-24 07:54:39
前面一篇写了数据同步和模板绑定,zabbix其实能做的事还蛮多。 zabbix提供了一个非常好的前端展示页面,但是我们总觉得不太好看;我们可以进一步调用他的api通过获取每一个监控项的历史数据,然后打到我们的监控平台上;主流的有rrdtool方式和highcharts方式;rrdtool略显复杂,还要学习rrdtool之类的几个聚合方式。相对而言我更喜欢highcharts的方式,出图简便,只需要提供数据和时间戳组成的json数据就够了,之前也介绍过具体;那么这里我们先拿出我们想要的数据。 zabbix的api读取方式如下: 1、通过post方式传入用户名密码获取token秘钥。 2、获取所有主机的hostid和name。 3、通过hostid获取每个监控项目的item和对应的key。 4、通过传入的itemid获取相对应的历史数据。 以上步骤都是需要传入token才能执行操作,pipy已经提供了第三方插件,让我们省去了这一部分的操作;具体参考: https://pypi.python.org/pypi/zabbix-client/0.1.1;zabbix api文档请参考官方文档。想多写点代码可以看小马哥的博客:http://www.xiaomastack.com/2014/08/17/rrdtool-1/。 1、获取主机的代码: def get_hosts(self):

机房ping监控 smokeping+prometheus+grafana

非 Y 不嫁゛ 提交于 2020-08-19 22:29:35
一、前言 1、本监控方案主要由smokeping+promethues+grafana组成。smokeping主要数据采集,promethues作为数据存储,grafana数据展示 2、其实smokeping也有自己的展示方案,但是太low太难看,不符合当下装逼的风格,所以果断换成grafana 3、之所以使用promethues,是由于目前的生产环境有一个promethues,可以直接复用,当然也可以选用graphite等 二、环境准备 组件 版本 OS Ubuntu 16.04.4 LTS 三、smokeping smokeping的原理其实很简单,就是使用fping工具ping全国各省的IP,将结果存储在rrd文件当中 安装smokeping root@localhost:/tmp# apt-get install gcc make rrdtool librrds-perl librrds-dev openssh-client libcgi-fast-perl libconfig-grammar-perl libdigest-hmac-perl liblwp-protocol-https-perl liblwp-mediatypes-perl fpint root@localhost:/tmp# ./configure --prefix=/usr/local

执行brew install一直卡在Updating Homebrew

旧街凉风 提交于 2020-08-19 16:18:14
在国内的网络环境下使用 Homebrew 安装软件的过程中可能会长时间卡在 Updating Homebrew 这个步骤。 例:执行 brew install rrdtool 命令 ➜ ~ brew install rrdtool Updating Homebrew... # 如果碰到长时间卡在这里,参考以下 2 种处理方法 方法 1:control + c 取消本次更新操作 ➜ ~ brew install rrdtool Updating Homebrew... ^C 按住 control + c 之后命令行会显示 ^C ,就代表已经取消了 Updating Homebrew 操作。 大概不到 1 秒钟之后就会去执行我们真正需要的安装操作了。 ➜ ~ brew install rrdtool Updating Homebrew... ^C==> Satisfying dependencies ==> Downloading https://rrdtool.org/download/1.7.2/rrdtool.phar ... 这个方法是临时的、一次性的。 方法 2:使用 Alibaba 的 Homebrew 镜像源进行加速 平时我们执行 brew 命令安装软件的时候,跟以下 3 个仓库地址有关: brew.git homebrew-core.git homebrew

zabbix、cacti、nagios,服务器监控还有更好的选择吗?

纵饮孤独 提交于 2020-08-15 04:00:12
对于运维的日常工作来说,服务器监控是必须且最基础的一项内容。在企业网络运维过程中,管理员闭虚随时关注服务器和网络运行情况,以便及时发现问题,尽可能减少故障的发生。当网络中的设备、服务器数量较多时,为了更加方便,快捷的获得各种监控信息,通常会借助一些集中监测软件。 目前使用比较多的服务器监控软件有这三款: zabbix、cacti、nagios ,简单介绍一下这三个软件。 zabbix zabbix 是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 cacti Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。 nagios Nagios 是一款开源的免费网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设备,打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知。 然而对于大部分新手来说,这三款监控软件虽然在监控方面的功能很强大,都不是太容易上手,安装和部署比较困难。 资源监控在运维工作中的作用是发现问题,让运维人员能够及时处理并且解决问题,基于此,运维新手应该找一款更适合自己

Python自动化运维:技术与最佳实践 PDF高清完整版|网盘下载内附地址提取码|

夙愿已清 提交于 2020-08-11 21:00:38
内容简介: 《Python自动化运维:技术与最佳实践》一书在中国运维领域将有“划时代”的重要意义:一方面,这是国内第一本从纵、深和实践角度探讨Python在运维领域应用的著作;一方面本书的作者是中国运维领域的“偶像级”人物,本书是他在天涯社区和腾讯近10年工作经验的结晶。因为作者实战经验丰富,所以能高屋建瓴、直指痛处,围绕Python自动化运维这个主题,不仅详细介绍了系统基础信息、服务监控、数据报表、系统安全等基础模块,而且深入讲解了自动化操作、系统管理、配置管理、集群管理及大数据应用等高级功能。最重要的是,完整重现了4个来自实际生产环境的不同功能运维平台的综合案例,展示了完整的平台架构及开发流程。 全书一共16章:基础篇(1-4章)详细介绍了系统基础信息、业务服务监控、定制业务质量报表、系统安全等基础和常用模块;高级篇(5-12章)深入讲解了批量运维管理器pexpect、paramiko、Fabric,集中化管理平台Ansible、Saltstack,统一网络控制器Func等高级功能,涵盖自动化操作、系统管理、配置管理、集群管理及大数据应用等主题;案例篇(13-16章)详细介绍了4个来自不同平台的运维案例,如何从零开始打造一个B/S自动化运维平台、如何打造Linux系统安全审计功能、如何构建分布式质量监控平台、如何构建桌面版C/S自动化运维平台,这4个案例均来自实际生产环境。

网络监控系统七大开源工具分析

馋奶兔 提交于 2020-08-11 17:58:36
不断提升企业形象及服务质量、节约成本是所有企业的需求。数字化进程的加速,企业基本都会面临线上办公、线上提供产品服务的情况。运维部门为确保企业中所有业务稳定运行,并满足业务不断扩张的发展需求,时刻肩负着极大的挑战。如何节省成本,提升运维工作效率,实现精准监控? 当下,部分企业倾向于用开源软件节约成本,开源产品如何选型?如何达到企业级效果?我们测试了七个开源产品:Zabbix、Nagios、Prometheus、SugarNMS、Ganglia、Open-Falcon和Cacti,这些产品都有稳固的用户基础且均有更新。我们重点测试了操作,管理工具、接口以及每个产品的监控能力,自动发现、应用场景等情况。 我们在Windows上测试了这七款产品,当然并不是这些产品不能在Linux上运行。 Zabbix 商业开源软件。一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。用户群体主要面向泛物联网企业,主要监控集群。 支持告警功能,具备扩展能力,可自定义监控指标,其主要采用mysql/postgresql存储监控数据,监控规模1000+左右。但缺少数据汇总功能,使用上不太方便。而且由于缺少中文资料,服务支持有限,学习成本和定制模板比较大。 Nagios Nagios是一款开源网络监视工具,适合监视大量服务器计算环境,集成了很多功能。可监控主机状态及网络设备等