opentsdb

工具篇-OpenTSDB的使用

爱⌒轻易说出口 提交于 2019-11-27 18:05:45
这部分主要讲一下用的过程中不太明白的概念啥的,主要参考 官网 和 OpenTSDB使用总结 1. downSample重采样 有时候每秒打一个点,展示这么多数据会显得很乱,通常也不需要这样精确的数据。可以使用降精度的方式将一段时间的数据点聚合后当作一个数据点,比如将每个小时的数据聚合为1个数据点,这样就会只显示168个数据点,如果查询的话可以根据时间范围选定降精度的粒度。 1 public static String getDownSampler(long start, long end) { 2 String downSampler; 3 if (end - start < 24 * 60 * 60 * 1000L) { // 一天 4 downSampler = 1m-avg; 5 } else if (end - start < 604800000) { // 一周 6 downSampler = 5m-avg; 7 } else { 8 downSampler = 30m-avg; 9 } 10 return downSampler; 11 } 2. aggregator aggregator在降精度downsample和多条时间线聚合时使用,通过算子将多个数据点汇聚成一个数据点,比如avg、sum。 来源: https://www.cnblogs.com

hbase cannot find an existing table

不打扰是莪最后的温柔 提交于 2019-11-27 02:42:24
问题 I set up a hbase cluster to store data from opentsdb. Recently due to reboot of some of the nodes, hbase lost the table "tsdb". I can still it on hbase's master node page, but when I click on it, it gives me a tableNotFoundException org.apache.hadoop.hbase.TableNotFoundException: tsdb at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.locateRegionInMeta(HConnectionManager.java:952) at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation

# EMQ X 持久化插件系列(一)- 消息存储到 OpenTSDB 数据库

|▌冷眼眸甩不掉的悲伤 提交于 2019-11-26 12:21:06
OpenTSDB 是可扩展的分布式时序数据库,底层依赖 HBase 并充分发挥了HBase的分布式列存储特性,支持数百万每秒的读写。 面对大规模快速增长的物联网传感器采集、交易记录等数据,时间序列数据累计速度非常快,时序数据库通过提高效率来处理这种大规模数据,并带来性能的提升,包括:更高的容纳率(Ingest Rates)、更快的大规模查询(尽管有一些比其他数据库支持更多的查询)以及更好的数据压缩。 本文以 CentOS 7.2 系统中的实际例子来说明如何通过 OpenTSDB 来存储相关的信息。 安装与验证 OpenTSDB 服务器 读者可以参考 OpenTSDB 官方文档 或 Docker 来下载安装 OpenTSDB 服务器,本文使用 OpenTSDB 2.4.0 版本。 配置 EMQ X 服务器 通过 RPM 方式安装的 EMQ X,OpenTSDB 相关的配置文件位于 /etc/emqx/plugins/emqx_backend_opentsdb.conf ,考虑到功能定位,OpenTSDB 插件仅支持消息存储功能。更多 backend 插件详见 EMQ X 数据持久化 。 配置连接地址与连接池大小、batch 策略: ## OpenTSDB Server 接入地址 backend.opentsdb.pool1.server = 127.0.0.1:4242 ##

# EMQ X 持久化插件系列(一)- 消息存储到 OpenTSDB 数据库

僤鯓⒐⒋嵵緔 提交于 2019-11-26 12:15:01
OpenTSDB 是可扩展的分布式时序数据库,底层依赖 HBase 并充分发挥了HBase的分布式列存储特性,支持数百万每秒的读写。 面对大规模快速增长的物联网传感器采集、交易记录等数据,时间序列数据累计速度非常快,时序数据库通过提高效率来处理这种大规模数据,并带来性能的提升,包括:更高的容纳率(Ingest Rates)、更快的大规模查询(尽管有一些比其他数据库支持更多的查询)以及更好的数据压缩。 本文以 CentOS 7.2 系统中的实际例子来说明如何通过 OpenTSDB 来存储相关的信息。 安装与验证 OpenTSDB 服务器 读者可以参考 OpenTSDB 官方文档 或 Docker 来下载安装 OpenTSDB 服务器,本文使用 OpenTSDB 2.4.0 版本。 配置 EMQ X 服务器 通过 RPM 方式安装的 EMQ X,OpenTSDB 相关的配置文件位于 /etc/emqx/plugins/emqx_backend_opentsdb.conf ,考虑到功能定位,OpenTSDB 插件仅支持消息存储功能。更多 backend 插件详见 EMQ X 数据持久化 。 配置连接地址与连接池大小、batch 策略: ## OpenTSDB Server 接入地址 backend.opentsdb.pool1.server = 127.0.0.1:4242 ##