ganglia

前言 最近IBM提供了一台powerpc给我们测试使用.在上面装出几个虚拟机,准备加入到云平台中. 同时为了监控主机状况,准备在上面安装nagios和ganglia. nagios的安装同x86_64环境下相差不多,但是ganglia的安装过程就稍微复杂些,写文记录如下. 学习笔记,以备查阅. @Author duangr @Website http://my.oschina.net/duangr/blog/183776 1. 相关环境 项 值 Issue Red Hat Enterprise Linux Server release 6.4 (Santiago) OS Linux 2.6.32-358.el6 Arch ppc64 2. 安装目标 目标是预先安装好ganglia所依赖的rpm包,后续就可以参考 ganglia的安装步骤 来具体安装. rpm -q gcc glibc glibc-common rrdtool rrdtool-devel apr apr-devel expat expat-devel pcre pcre-devel gcc-4.4.7-3.el6.ppc64 glibc-2.12-1.107.el6.ppc64 glibc-2.12-1.107.el6.ppc glibc-common-2.12-1.107.el6.ppc64 package

安装ganglia后，访问浏览器出现"You don't have permission to access /ganglia/ on this server" 按照网络上的要求配置/etc/httpd/conf.d/ganglia.conf # # Ganglia monitoring system php web frontend # Alias /ganglia /usr/share/ganglia <Location /ganglia> Order deny,allow Deny from all Allow from all #Allow from 127.0.0.1 #Allow from ::1 # Allow from.example.com </Location> 然而并不起作用，最后注释了上面的这些规则，添加了“ Require all granted”后，重启httpd问题解决。 [root@hadoop-101 ~]# cat /etc/httpd/conf.d/ganglia.conf # # Ganglia monitoring system php web frontend # Alias /ganglia /usr/share/ganglia <Location /ganglia> #Order deny,allow #Deny from all

I want use ganglia's data to analyze our cluster, But I don't know where is the ganglia's database. Anyone had do this before? shawmzhu It is rrd files that stores metrics data on gmetad. usually the default path is /var/lib/ganglia/rrds/<cluster-name>/<node-name>/ where each metric is stored in a single rrd file like bytes_in.rrd Please refer to command rrdfetch or this question to see how to fetch data from rrd file (this is pure rrdtool question which is out of ganglia technology) krzysiek.ste To get data from ganglia .rrd files and save it in .xml file, you can use rddtool. rrdtool dump

I am currently collecting monitoring metrics with Ganglia and I would like to show graphs with that data with Graphite. I know such an integration is possible, and I found an article describing how it should be done. I am not quite sure exactly how this integration works, especially when I want to send it straight into graphite without parsing the data of the gmetad. Any help on how to integrate Ganglia with Graphite will be great. thanks There are two approaches to integrate ganglia with graphite. use third party process to get metrics from gmetad/gmond, tweak metrics data format, send

基本介绍 Ganglia 是 UC Berkeley 发起的一个开源集群监视项目，设计用于测量数以千计的节点。 Ganglia 的核心包含 gmond 、 gmetad 以及一个 Web 前端。主要是用来监控系统性能，如： cpu 、 mem 、硬盘利用率， I/O 负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。 架构 Ganglia 由 gmond 、 gmetad 和 gweb 三部分组成： 1) gmond （ Ganglia Monitoring Daemon ）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。 gmond 在每台主机上完成实际意义上的指标数据收集工作，并通过侦听 / 通告协议和集群内其他节点共享数据。使用 gmond ，你可以很容易收集很多系统指标数据，如 CPU 、内存、磁盘、网络和活跃进程的数据等。 2) gmetad （ Ganglia Meta Daemon ）是一种从其他 gmetad 或 gmond 源收集指标数据，并将其以 RRD 格式存储至磁盘的服务。 gmetad 为从主机组收集的特定指标信息提供了简单的查询机制，并支持分级授权，使得创建联合监测域成为可能。 3) gweb （ Ganglia Web ） gweb 是一种利用浏览器显示 gmetad

一、Ganglia概述 规模的问题 Ganglia的运行和绝大多数监控系统是不一样的， Ganglia设计最大的考虑就是为了解决规模的问题。 主机即监控系统 基于冗余的结构 Ganglia 假设用户主机存在冗余，或至少按照某种意义进行分组。 Ganglia是否适合基于以下一些前提： ④ 操作系统和网络兼兼容多播或用户数据报协议UDP。 Ganglia在结构上由三种守护进程组成gmond 、gmetad和gweb。在操作上，每种守护进程都是独立的，运行时只需要自己的配置文件来操作即可，任意守护进程在缺少其他两种守护进程的情况下也可以正常启动和运行。然而， 三者在结构上又是相互协作的，需要同时使用才能发挥功效。 gmond gmond并不是消极等待被监控系统服务器唤醒，而总是处于激活态，以便进行测量、传输和共享。轮询器不再需要知道从哪些主机获取哪些服务，而只需要一个包含每个集群内至少一台主机名称的列表即可。 gmetad:整合所有信息 作为数据存储的一种流行的解决方案，RRDtool是很好的选择。指标数据存储于轮询数据库（Round Robin Database）,这种数据库包含了多个时间块内静态分配的数值。如果每10秒进行一次轮询，每次数据都进行存储，一天将需要8640次存储。考虑到数据保留需求， RRDtool 内部以“循环覆盖”的方式管理数据

4.1 Ganglia的安装与部署 1) 安装httpd 服务与php [atguigu@hadoop102 flume]$ sudo yum -y install httpd php　 2) 安装其他依赖 [atguigu@hadoop102 flume]$ sudo yum -y install rrdtool perl-rrdtool rrdtool-devel [atguigu@hadoop102 flume]$ sudo yum -y install apr-devel 3) 安装ganglia [atguigu@hadoop102 flume]$ sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm [atguigu@hadoop102 flume]$ sudo yum -y install ganglia-gmetad [atguigu@hadoop102 flume]$ sudo yum -y install ganglia-web [atguigu@hadoop102 flume]$ sudo yum install -y ganglia-gmond　 4) 修改配置文件/etc/httpd/conf.d/ganglia.conf

1 Flume 概述 1.1 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统； Flume 基于流式架构，灵活简单。 1.2 特点 可以和任意存储进程集成 输入的的数据速率大于写入目的存储的速率， Flume 会进行缓冲，减小 HDFS 的压力 Flume 中的事务基于 Channel ，使用了两个事务模型（ sender + receiver ），确保消息被可靠发送 Flume 使用两个独立的事务分别负责从 Soucrce 到 Channel ，以及从 Channel 到 Sink 的事件传递。一旦事务中所有的数据全部成功提交到 Channel ，那么 Source 才认为该数据读取完成，同理，只有成功被 Sink 写出去的数据，才会从 Channel 中移除 1.3 组成架构 1.3.1 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头传递到目的地 Agent 主要由 Source 、 Channel 、 Sink 组成 1.3.2 Source Source 是负责接收数据到 Agent 的组件，可以处理各种类型，包括 avro 、 thrift 、 exec 、 jms 、 spooling directory 、 netcat 、 sequence generator 、 syslog

ganglia简介 实验环境 ganglia安装配置 安装 配置 Hadoop配置 成果 注意问题 参考 本篇文章是参考网上别人的博客，加自己实践后记录下来的，免得自己又忘了，感谢互联网的分享精神，感谢大牛们的分享。 ganglia简介 名词说明 引用自此博客介绍 Metrics- 监控电脑的运行数据 Node - 一台电脑，或许拥有多个CPU，中文称之为节点。 Cluster - 一组节点，中文称之为簇。通常节点之间拥有达到G比特的高带宽，簇内通过组播协议，每个节点组播自己的数据，所以每个节点拥有整个簇的状态，这种冗余设计可以提高簇的鲁棒性。一般簇内节点为相同的系统和体系结构，由同一个管理员管理。 Grid - 一组簇，中文可称之为网格。网格的用处是在一个大范围内把各异构的簇通过宽带汇聚在一起。 Ganglia的各种组成 功能 名称及配置文件 位置 数据采集器 名叫gmond（Ganglia MONitor Daemon）的服务程序，配置文件是/etc/ganglia/gmond.conf 位于每个Node上 数据混合收集器 名叫gmetad（Ganglia METAdata Daemon）的服务程序，配置文件是/etc/ganglia/gmetad.conf。它通过轮询收集gmond的数据,并聚合簇的各类信息，然后保存在本地rrdtool的数据库中

年初二开始翻译这篇文章的，过年嘛事情特别多，一下拜年一下来客人的，表弟啥的还要过来抢电脑玩～真心纠结。翻译这篇文章我发现我的英文水平真都很烂啊！！。。仅供参考，不负责任 Gmond扩展Python度量模块 在最新的Ganglia3.1.x版本中，我们可以创造出C/Python的度量收集模块，这些模块能被直接插入到gmond中以用来监视用户自定义的度量。 在早期的版本中(2.5.x,3.0.x),添加用户自定义的度量只有通过命令行调用gmetric这么一种方法，它可以简单地通过一个cronjob或者其他进程将度量插入到gmond中。虽然这种方法对大多数人来说是可行的，但是他使得用户自定义的度量难以管理。 本文将介绍自己编写一个python度量监视模块的一些细节问题 以下的组件是建立/使用Python支持所必须的 Ganglia 3.1.x Python 2.3.4+(这是在RHEL4上测试的最老的支持版本，2.3以后的版本应该都能正常工作) Python开发头文件（通常在python-devel这个软件包中） 安装 RPM安装 如果你安装Python度量模块在基于RPM软件包管理的系统上，安装“ganglia-gmond-modules-python”这个软件包即可。这包含了Python模块开发的所有东西。 APT安装 执行 apt-get install ganglia