时间序列

前言 本文来自 Prometheus官网手册1 、 2 、 3 和 Prometheus简介1 、 2 、 3 PromQL操作符 一、二元操作符 Prometheus的查询语言支持基本的逻辑运算和算术运算。对于两个瞬时向量, 匹配行为 可以被改变。 1.1 算术二元运算符 在Prometheus支持下面的二元算术操作符： + 加法 - 减法 * 乘法 / 除法 % 模 ^ 幂等 二元运算操作符定义在 scalar/scalar(标量/标量) 、 vector/scalar(向量/标量) 、和 vector/vector(向量/向量) 之间。 在两个标量之间： 评估另一个标量，这是运算符应用于两个标量操作数的结果。 在瞬时向量和标量之间： 将运算符应用于向量中的每个数据样本的值。 如果时间序列即时向量乘以2，则结果是另一个向量，其中原始向量的每个样本值乘以2。 在两个瞬时向量之间： 应用于左侧向量中的每个条目及其右侧向量中的 匹配元素 。 结果将传播到结果向量中。 右侧向量中（没有匹配条目）不是结果的一部分。 1.2 比较二元操作符 在Prometheus系统中，比较二元操作符有： == 等于 != 不等于 > 大于 < 小于 >= 大于等于 <= 小于等于 比较二元操作符定义在 scalar/scalar（标量/标量） 、 vector/scalar(向量/标量) ，和

1 时间序列与时间序列分析 在生产和科学研究中，对某一个或者一组变量 进行观察测量，将在一系列时刻 所得到的离散数字组成的序列集合，称之为时间序列。 时间序列分析是根据系统观察得到的时间序列数据，通过曲线拟合和参数估计来建立数学模型的理论和方法。时间序列分析常用于国民宏观经济控制、市场潜力预测、气象预测、农作物害虫灾害预报等各个方面。 2 时间序列建模基本步骤 获取被观测系统时间序列数据； 对数据绘图，观测是否为平稳时间序列；对于非平稳时间序列要先进行d阶差分运算，化为平稳时间序列； 经过第二步处理，已经得到平稳时间序列。要对平稳时间序列分别求得其自相关系数ACF 和偏自相关系数PACF ，通过对自相关图和偏自相关图的分析，得到最佳的阶层 p 和阶数 q 由以上得到的 ，得到ARIMA模型。然后开始对得到的模型进行模型检验。 3 ARIMA实战解剖 原理大概清楚，实践却还是会有诸多问题。相比较R语言，Python在做时间序列分析的资料相对少很多。下面就通过Python语言详细解析后三个步骤的实现过程。 文中使用到这些基础库： 。 对其调用如下 from __future__ import print_function import pandas as pd import numpy as np from scipy import stats import matplotlib

前言 本文来自 Prometheus官网手册1 、 Prometheus官网手册2 和 Prometheus简介 说明 Prometheus从根本上存储的所有数据都是 时间序列 : 具有时间戳的数据流只属于单个度量指标和该度量指标下的多个标签维度。除了存储时间序列数据外，Prometheus还可以生成临时派生的时间序列作为查询的结果。 metrics和labels(度量指标名称和标签) 每一个 时间序列数据由metric度量指标名称和它的标签labels键值对集合唯一确定。 这个metric度量指标名称指定监控目标系统的测量特征（如： http_requests_total - 接收http请求的总计数）。 注意： 冒号保留用于用户定义的录制规则。 它们不应被exporter或直接仪表使用。 labbels开启了Prometheus的多维数据模型：对于相同的度量名称，通过不同标签列表的结合, 会形成特定的度量维度实例。 (例如：所有包含度量名称为 /api/tracks 的http请求，打上 method=POST 的标签，则形成了具体的http请求)。这个查询语言在这些度量和标签列表的基础上进行过滤和聚合。改变任何度量上的任何标签值，则会形成新的时间序列图。 metric度量指标可能包含ASCII字母、数字、下划线和冒号，他必须配正则表达式 [a-zA-Z_:][a-zA-Z0

前言 本文来自 Prometheus官网手册 和 Prometheus简介 什么是prometheus？ Prometheus 是一个最初在SoundCloud上构建的开源系统监视和警报工具包。自2012年成立以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发者和用户社区。 它现在是一个独立的开源项目，可以独立于任何公司进行维护。 为了强调这一点，并阐明项目的治理结构，Prometheus于2016年加入Cloud Native Computing Foundation，作为继Kubernetes之后的第二个托管项目。 特征 Prometheus的主要特征有： 多维度数据模型，由指标键值对标识的时间序列数据组成 PromQL，一种灵活的查询语言 不依赖分布式存储; 单个服务器节点是自治的 以HTTP方式，通过pull模型拉取时间序列数据 支持通过中间网关（pushgateway）推送时间序列数据 通过服务发现或者静态配置，来发现目标服务对象 支持多种多样的图表和界面展示 组件 Prometheus生态包括了很多组件，它们中的一些是可选的： Prometheus主服务器，用于抓取和存储时间序列数据 用于检测应用程序代码的客户端库 用于支持短声明周期的push网关 针对HAProxy，StatsD，Graphite等服务的特定exporters 警告管理器

理解时间序列 在1.2节当中，通过Node Exporter暴露的HTTP服务，Prometheus可以采集到当前主机所有监控指标的样本数据。例如： # HELP node_cpu Seconds the cpus spent in each mode. # TYPE node_cpu counter node_cpu{cpu="cpu0",mode="idle"} 362812.7890625 # HELP node_load1 1m load average. # TYPE node_load1 gauge node_load1 3.0703125 其中非#开头的每一行表示当前Node Exporter采集到的一个监控样本：node_cpu和node_load1表明了当前指标的名称、大括号中的标签则反映了当前样本的一些特征和维度、浮点数则是该监控样本的具体值。 样本 Prometheus会将所有采集到的样本数据以时间序列（time-series）的方式保存在内存数据库中，并且定时保存到硬盘上。time-series是按照时间戳和值的序列顺序存放的，我们称之为向量(vector). 每条time-series通过指标名称(metrics name)和一组标签集(labelset)命名。如下所示，可以将time-series理解为一个以时间为Y轴的数字矩阵： ^ │ . . . .

一、时间序列及其分解 时间序列（time series）是同一现象在不同时间上的相继观察值排列而成的序列。根据观察时间的不同，时间序列中的时间可以是可以是年份、季度、月份或其他任何时间形式。 时间序列： （1）平稳序列（stationary series） 是基本上不存在趋势的序列，序列中的各观察值基本上在某个固定的水平上波动，在不同时间段波动程度不同，但不存在某种规律，随机波动 （2）非平稳序列（non-stationary series） 是包含趋势、季节性或周期性的序列，只含有其中一种成分，也可能是几种成分的组合。可分为：有趋势序列、有趋势和季节性序列、几种成分混合而成的复合型序列。 趋势（trend）：时间序列在长时期内呈现出来的某种持续上升或持续下降的变动，也称长期趋势。时间序列中的趋势可以是线性和非线性。 季节性（seasonality）：季节变动（seasonal fluctuation）,是时间序列在一年内重复出现的周期波动。销售旺季，销售淡季，旅游旺季、旅游淡季，因季节不同而发生变化。季节，不仅指一年中的四季，其实是指任何一种周期性的变化。含有季节成分的序列可能含有趋势，也可能不含有趋势。 周期性（cyclicity）：循环波动（cyclical fluctuation），是时间序列中呈现出来的围绕长期趋势的一种波浪形或振荡式波动。周期性是由商业和经济活动引起的

时间序列预测法 来源： https://www.cnblogs.com/yzm2008/p/11857875.html

IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 主要功能与特点 IoTDB具有以下特点： 灵活的部署方式 云端一键部署 终端解压即用 终端-云端无缝连接（数据云端同步工具） 低硬件成本的存储解决方案 高压缩比的磁盘存储（10亿数据点硬盘成本低于1.4元） 目录结构的时间序列组织管理方式 支持复杂结构的智能网联设备的时间序列组织 支持大量同类物联网设备的时间序列组织 可用模糊方式对海量复杂的时间序列目录结构进行检索 高通量的时间序列数据读写 支持百万级低功耗强连接设备数据接入（海量） 支持智能网联设备数据高速读写（高速） 以及同时具备上述特点的混合负载 面向时间序列的丰富查询语义 跨设备、跨传感器的时间序列时间对齐 面向时序数据特征的计算（频域变换，0.8.0版本不支持） 提供面向时间维度的丰富聚合函数支持 极低的学习门槛 支持类SQL的数据操作 提供JDBC的编程接口 完善的导入导出工具（0.8.0版本不支持） 完美对接开源生态环境 支持开源数据分析生态系统：Hadoop、Spark 支持开源可视化工具对接：Grafana 来源： https://www.cnblogs.com/fewfwf/p/11832536.html

http://blog.csdn.net/lihaifeng555/article/details/4543752 目录 (?) [+] 111 基于统计的异常点检测算法 112 基于距离的异常点检测算法 113 基于密度的异常点检测算法 114 基于深度的异常点检测算法 115 基于偏移的异常点检测算法 116 高维数据的异常点检测算法 121 时间序列相关背景 122 基于离散傅立叶变换的时间序列相似性查找 111 完全匹配查找算法 1.1 常见异常点检测算法 在数据库中包含着少数的数据对象，它们与数据的一般行为或特征不一致，这些数据对象叫做异常点 (Outlier) ，也叫做孤立点。异常点的检测和分析是一种十分重要的数据挖掘类型，被称之为异常点挖掘 [28 ] 。 对于异常数据的挖掘主要是使用偏差检测，在数学意义上，偏差是指分类中的反常实例、不满足规则的特例，或者观测结果与模型预测值不一致并随时间的变化的值等等。偏差检测的基本目标是寻找观测结果与参照值之间有意义的差别，主要的偏差技术有聚类、序列异常、最近邻居法、多维数据分析等。除了识别异常数据外，异常数据挖掘还致力于寻找异常数据间隐含模型，用于智能化的分析预测。对于异常数据分析方法的研究是论文的重要内容之一，通过研究异常数据，找到适合出口企业产品质量深入分析和有效监管的方法和策略。 1.1.1 基于统计的异常点检测算法 从

面板数据的定义 在学习面板数据之前，我先介绍时间序列数据和截面数据的概念 时间序列数据：时间序列数据是指对同一对象在不同时间连续观察所取得的数据。它着眼于研究对象在时间顺序上的变化，寻找空间(对象)历时发展的规律。利用时间序列作样本时，要注意几个问题：一是所选择的样本区间内经济行为的一致性问题；二是样本数据在不同样本点之间不可比，需要对原始数据进行调整，消除其不可比因素；三是样本观测值过于集中，因而时间序列数据不适宜于对模型中反映长期变化关系的结构参数的估计；四是模型随机误差的序列相关问题。 **notes：两个关键词：同一个对象，不同时间，例如：2016-2018年上海市月度cpi同比数据。。 截面数据：　横截面数据是指在某一时点收集的不同对象的数据。它对应同一时点上不同空间(对象)所组成的一维数据集合，研究的是某一时点上的某种经济现象，突出空间(对象)的差异。横截面数据的突出特点就是离散性高。横截面数据体现的是个体的个性，突出个体的差异，通常横截面数据表现的是无规律的而非真正的随机变化。即计量经济学中所谓的“无法观测的异质性”。在分析横截面数据时，应主要注意两个问题：一是异方差问题，由于数据是在某一时期对个体或地域的样本的采集，不同个体或地域本身就存在差异；二是数据的一致性，主要包括变量的样本容量是否一致、样本的取样时期是否一致、数据的统计标准是否一致。 **notes