opentsdb

微服务 2.0 技术栈选型手册

我只是一个虾纸丫 提交于 2019-12-10 11:23:30
本文转自: https://mp.weixin.qq.com/s/OloZhn2pwfIrOQit_8jefA 一、前言 2014年可以认为是微服务1.0的元年,当年有几个标志性事件,一是Martin Fowler在其博客上发表了“Microservices”一文,正式提出微服务架构风格;二是Netflix微服务架构经过多年大规模生产验证,最终抽象落地形成一整套开源的微服务基础组件,统称NetflixOSS,Netflix的成功经验开始被业界认可并推崇;三是Pivotal将NetflixOSS开源微服务组件集成到其Spring体系,推出Spring Cloud微服务开发技术栈。 一晃三年过去,微服务技术生态又发生了巨大变化,容器,PaaS,Cloud Native,gRPC,ServiceMesh,Serverless等新技术新理念你方唱罢我登场,不知不觉我们又来到了微服务2.0时代。基于近年在微服务基础架构方面的实战经验和平时的学习积累,我想总结并提出一些构建微服务2.0技术栈的选型思路,供各位在一线实战的架构师、工程师参考借鉴。对于一些暂时还没有成熟开源产品的微服务支撑模块,我也会给出一些定制自研的设计思路。 二、选型准侧 对于技术选型,我个人有很多标准,其中下面三项是最重要的: 1. 生产级 我们选择的技术栈是要解决实际业务问题和上生产抗流量的(选择不慎可能造成生产级事故)

openTSDB REST API is not storing data

删除回忆录丶 提交于 2019-12-08 06:08:45
问题 I am trying to write to an openTSDB database so I can analyse my data using Bosun. If I manually add data through the Bosun interface it works fine, however if i do a POST request to < docker-ip>/api/put (where <docker-ip> is configured correctly) the data does not show up in Bosun. If I send the data points as a a JSON from my Java application nothing shows up at all in Bosun, but if I send the request using the chrome app 'Postman' then the metric shows up, but the data I sent with the

云栖深度干货 | 打造“云边一体化”,时序时空数据库TSDB技术原理深度解密

流过昼夜 提交于 2019-12-07 15:14:41
本文选自云栖大会下一代云数据库分析专场讲师 自修 的演讲——《TSDB云边一体化时序时空数据库技术揭秘》 自修 —— 阿里云智能数据库产品事业部高级专家 认识TSDB 第一代时序时空数据处理工具 虽然通用关系数据库可以存储时序数据,但是由于缺乏针对时间的特殊优化,比如按时间间隔存储和检索数据等等,因此在处理这些数据时效率相对不高。 第一代时序数据典型来源于监控领域,直接基于平板文件的简单存储工具成为这类数据的首先存储方式。 以RRDTool,Wishper为代表,通常这类系统处理的数据模型比较单一,单机容量受限,并且内嵌于监控告警方案。 第二代面向时序时空领域的数据库伴随着大数据和Hadoop的发展,时序数据量开始迅速增长,系统业务对于处理时序数据的扩展性等方面提出更多的要求。 基于通用存储而专门构建的时间序列数据库开始出现,它可以按时间间隔高效地存储和处理这些数据。像OpenTSDB,KairosDB等等。 这类时序数据库在继承通用存储优势的基础上,利用时序的特性规避部分通用存储的劣势,并且在数据模型,聚合分析方面做了贴合时序的大量创新。 比如OpenTSDB继承了HBase的宽表属性结合时序设计了偏移量的存储模型,利用salt缓解热点问题等等。 然而它也有诸多不足之处,比如低效的全局UID机制,聚合数据的加载不可控,无法处理高基数标签查询等等。 随着docker

openTSDB REST API is not storing data

给你一囗甜甜゛ 提交于 2019-12-07 02:48:28
I am trying to write to an openTSDB database so I can analyse my data using Bosun. If I manually add data through the Bosun interface it works fine, however if i do a POST request to < docker-ip>/api/put (where <docker-ip> is configured correctly) the data does not show up in Bosun. If I send the data points as a a JSON from my Java application nothing shows up at all in Bosun, but if I send the request using the chrome app 'Postman' then the metric shows up, but the data I sent with the request does not. This is the data I'm sending: try { CloseableHttpClient httpClient = HttpClientBuilder

How to insert data in OpenTSDB (Time Series Database)

旧巷老猫 提交于 2019-12-06 02:41:51
问题 I'm new to OpenTSDB. I somehow managed to install and configure OpenTSDB, but I don't know how to put data into OpenTSDB from client. Can anyone of you help me? 回答1: The short answer is that those " put name timestamp value [tags] " commands are the network protocol for adding data to OpenTSDB over TCP/IP. So from your Java program, you can open a TCP socket to the TSD port and start writing commands to add your data. Obviously, that still leaves a lot of details an an excercise to the reader

OpenTSDB 简单使用

杀马特。学长 韩版系。学妹 提交于 2019-12-05 04:41:59
OpenTSDB是基于Hbase的时序数据库[时间序列数据库]。不具备通用性,主要针对具有时间特性和需求的数据,如监控数据、温度变化数据等。 1、安装OpenTSDB 安装前一定要安装HBase,相关的安装方式在网上有很多了。 下载地址: https://github.com/OpenTSDB/opentsdb/releases 2、设置OpenTSDB 创建metric: 两种方式,选择其一即可。 在opentsdb中创建metric。如生成 bridge 如下: tsdb mkmetric bridge 修改opentsdb.conf设置: tsd.core.auto_create_metrics = true 3、C# 数据上传 Nuget Install-Package RestSharp -Version 106.6.10 public class DataPoint { public string metric { get; set; } public int timestamp { get; set; } public int value { get; set; } public Tags tags { get; set; } } public class Tags { public string host { get; set; } public string dc

How to insert data in OpenTSDB (Time Series Database)

Deadly 提交于 2019-12-04 06:40:32
I'm new to OpenTSDB. I somehow managed to install and configure OpenTSDB, but I don't know how to put data into OpenTSDB from client. Can anyone of you help me? The short answer is that those " put name timestamp value [tags] " commands are the network protocol for adding data to OpenTSDB over TCP/IP. So from your Java program, you can open a TCP socket to the TSD port and start writing commands to add your data. Obviously, that still leaves a lot of details an an excercise to the reader. You didn't specify in your question how, or even if, you're collecting time series data that you want to

OpenTSDB使用总结-(3)

匿名 (未验证) 提交于 2019-12-03 00:27:02
功能介绍 从OpenTSDB数据库中查询数据。 URI URI格式 POST {OpenTSDB URL}/api/query 请求 请求样例 { "start": 1504527820, "end": 1504557820, "queries": [ { "aggregator": "sum", "metric": "cpu.system", "rate": "true", "filters": [ { "type":"regexp", "tagk":"host", "filter":"web[0-9]+.lax.mysite.com", "groupBy":true }, { "type":"literal_or", "tagk":"dc", "filter":"lax|dal", "groupBy":false }, ] } ] } 参数说明 表1 请求参数说明 名称 类型 是否必须 描述 start Integer 是 起始时间,单位秒。查询结果包含该时间的值。 说明: 建议使用4334400秒到4291718400秒之间的时间,即从1970/02/20 12:00:00到2106/01/01 00:00:00,也可以为0。否则可能导致查询结果不正确。 end Integer 否 结束时间,单位秒,默认值为OpenTSDB的当前系统时间。查询结果包含该时间的值。 说明:

OpenTSDB使用总结-(2)

匿名 (未验证) 提交于 2019-12-03 00:27:02
API 可以在一次请求中将多个数据写入OpenTSDB,每个数据都会被单独处理,且单数据出错不会影响其他数据的写入。建议每个请求中最大数据点数不超过50. URI URI格式 写入数据 POST {OpenTSDB URL}/api/put 写入数据并返回概要信息 POST {OpenTSDB URL}/api/put?summary 写入数据并返回详细信息 POST {OpenTSDB URL}/api/put?details 说明: 如果summary和details标志同时存在于查询字符串,该API将响应detailed信息。 写入数据并等待数据刷入磁盘 POST {OpenTSDB URL}/api/put?sync 写入数据等待数据刷入磁盘,并设置超时时间(毫秒)。当发生超时时,使用details标志将会返回成功和失败的数据点数量。 POST {OpenTSDB URL}/api/put?sync&sync_timeout=60000 请求 请求样例:单数据点写入 { " metric ": "sys.cpu.nice" , " timestamp ": 1346846400 , " value ": 18 , " tags ": { " host ": "web01" , " dc ": "lga" } } 请求样例:多数据点写入-传入Json数组 [ { "

OpenTsdb: Is Space character allowed in Metric and tag information

╄→尐↘猪︶ㄣ 提交于 2019-12-02 08:49:34
问题 I was working with openTsdb and came across with the issue that space character is not allowed in metric, tag(tagk) and even the values(tagv). Is there any way we can add space atleast in the value of tag? I also referred: http://opentsdb.net/docs/build/html/user_guide/writing/index.html#metrics-and-tags 回答1: Spaces are not allowed. As per the documentation you referred: Only the following characters are allowed: a to z, A to Z, 0 to 9, -, _, ., / or Unicode letters (as per the specification)