时间序列

Pandas 时间序列

為{幸葍}努か 提交于 2019-12-03 23:15:31
# 导入相关库 import numpy as np import pandas as pd 在做金融领域方面的分析时,经常会对时间进行一系列的处理。Pandas 内部自带了很多关于时间序列相关的工具,所以它非常适合处理时间序列。在处理时间序列的过程中,我们经常会去做以下一些任务: 生成固定频率日期和时间跨度的序列 将时间序列整合或转换为特定频率 基于各种非标准时间增量(例如,在一年的最后一个工作日之前的 5 个工作日)计算“相对”日期,或向前或向后“滚动”日期 使用 Pandas 可以轻松完成以上任务 基础概述   下面列出了 Pandas中 和时间日期相关常用的类以及创建方法: 类 备注 创建方法 Timestamp 时刻数据 to_datetime,Timestamp DatetimeIndex Timestamp的索引 to_datetime,date_range,DatetimeIndex Period 时期数据 Period PeriodIndex Period period_range,PeriodIndex      Pandas 中关于时间序列最常见的类型就是时间戳( Timestamp )了,创建时间戳的方法有很多种,我们分别来看一看 时间戳(Timestamp) pd.Timestamp(2019, 11, 7) # Timestamp('2019-11-07

Pandas | 20 级联

江枫思渺然 提交于 2019-12-03 14:47:00
Pandas 提供了各种工具(功能),可以轻松地将 Series , DataFrame 和 Panel 对象组合在一起。 pd.concat(objs,axis=0,join='outer',join_axes=None,ignore_index=False) objs - 这是Series,DataFrame或Panel对象的序列或映射。 axis - {0,1,...} ,默认为 0 ,这是连接的轴。 join - {'inner', 'outer'} ,默认 inner 。如何处理其他轴上的索引。联合的外部和交叉的内部。 ignore_index − 布尔值,默认为 False 。如果指定为 True ,则不要使用连接轴上的索引值。结果轴将被标记为: 0,...,n-1 。 join_axes - 这是Index对象的列表。用于其他 (n-1) 轴的特定索引,而不是执行内部/外部集逻辑。 连接对象 concat() 函数完成了沿轴执行级联操作的所有重要工作。下面代码中,创建不同的对象并进行连接。 import pandas as pd one = pd.DataFrame({ 'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'subject_id':['sub1','sub2','sub4','sub6','sub5

中国财政收入时间序列分析(二)

匿名 (未验证) 提交于 2019-12-03 00:34:01
这是我的第一篇博客,就献给了时间序列大作业了。为什么第一篇是二呢,因为对于时间序列分析,有传统模型的做法也有降低时间属性重要度,通过特征工程构造其他特征的做法。而我在项目中负责其他方法,正好把论文写完了,那么我就先写这个吧。此文中各模型不涉及推导,只有相关的code和整个流程,具体各模型推导以及实现我将在以后的博客更新。 可能第一篇写的格式还很奇怪。。。markdown也没怎么练习过,emmm不过没关系至少我开始写了hhh 如果code不好或者有bug或者有其他的想法也麻烦写一下哦,感谢! 数据可在 http://data.stats.gov.cn/easyquery.htm?cn=A01 找到 Prophet Regression Tree Gradient Boosting Decision Tree Random Forest XGBoost BP Neural Network LSTM 对于传统模型,也即我们常说的,AR,MA,ARMA,ARIMA,GARCH等模型,目前在数据挖掘算法盛行的时代,优缺点逐渐显露。传统模型的确在过去的时间里不断发展,完善形成了一种处理时间序列较好并且解释力较足的方法。并且在只有一元时间序列特征的情况下拟合效果与预测效果能达到较好,在多元时间序列特征的情况下能建立VAR

R语言 时间序列arima模型

匿名 (未验证) 提交于 2019-12-03 00:32:02
基本理论知识 ARMA模型 称为自回归移动平均模型,是时间序列里常用的模型之一。ARMA模型是对不含季节变动的平稳序列进行建模。它将序列值表示为过去值和过去扰动项的加权和。模型形式如下: y t = c + a 1 y t 1 + a 2 y t 2 + . . . + a p y t p + t b 1 t 1 b 2 t 2 . . . b q t q 其中 y t yt t ( l ) y t = c + Θ ( l ) t 其中 ( l ) = 1 a 1 l a 2 l 2 . . . a p l p 称为自回归系数多项式。 Θ ( l ) = 1 b 1 l b 2 l 2 . . . b q l q ARIMA模型 的本质和ARMA是一样的,将ARMA模型里的序列值 y t yt Δ y t = c + a 1 Δ y t 1 + a 2 Δ y t 2 + . . . + a p Δ y t p + t b 1 t 1 b 2 t 2 . . . b q t q 自相关系数acf 刻画的是 y t yt y t k 偏自相关系数pacf 刻画的是去除 y t 1 , y t 2 y t k y t yt y t k 平稳性 :均值为常数,且两个变量间的协方差只取决于它们之间的时间间隔而不取决于时间点。即 E ( y t ) = μ E(yt)=μ C o v ( y

绘制时间序列数据

匿名 (未验证) 提交于 2019-12-03 00:26:01
时间序列数据转换后,如何进行绘制,能不能绘制一段时间数据呢。 import numpy as np import pandas as pd import matplotlib.pyplot as plt class My_data_timers_transform: test1=My_data_timers_transform() test1.load_init_data() test1.extract_start_end_date() test1.extract_column_data_totimeseries(2) test1.plot_data_of_time() test1.plot_data_of_time('2008','2015') test1.plot_data_of_time('2007-1','2017-12') 文章来源: 绘制时间序列数据

如何将数据转换为时间序列数据

匿名 (未验证) 提交于 2019-12-03 00:26:01
如何将数据转换为时间序列数据 2014,2,68.93,85.54 2014,3,65.96,53.19 2014,4,69.56,67.47 data = np.loadtxt(input_filename, delimiter=',') (3)提取出数据后,我们可以用pandas模块自动生成连续月的序列,当然,也可以生成其他方式。 (4)将数据绑定到第3步提取的序列中。 (5)绘出数据。 文章来源: 如何将数据转换为时间序列数据

时间序列数据分析方法

匿名 (未验证) 提交于 2019-12-03 00:26:01
import numpy as np import pandas as pd import matplotlib.pyplot as plt class My_data_timers_transform: test1=My_data_timers_transform() test1.load_init_data() test1.extract_start_end_date() # data1=test1.extract_column_data_totimeseries(2) # data2=test1.extract_column_data_totimeseries(3) test1.extract_max_min_mean_corr(2,3) 文章来源: 时间序列数据分析方法

ARMA模型概述

匿名 (未验证) 提交于 2019-12-03 00:21:02
在统计学角度来看,时间序列分析是统计学中的一个重要分支, 是基于 随机过程理论 和 数理统计学 平稳性序列 和 非平稳性序列 . 目前应用最多的是 Box一JenkinS 模型建模法 , 它是由G.E.P.Box和英国统计学家G.M.JenkinS于1970年首次系统提出的. Box一JenkinS方法 是一种较为完善的统计预测方法 , 他们的作用是为实际工作者提供了对时间序列进行分析、预测 , 以用对 ARMA模型 识别、估计和诊断的系统方法. 优点在于 如果建立精确的模型后,并确定模型的系数之后,就可以根据有限的数据集对其发展进行预测 时序分析基础 平稳性 平稳性是时间序列分析中很重要的一个概念。一般的,我们认为一个时间序列是平稳的,如果它同时满足一下两个条件: 1) 均值函数是一个常数函数 。 2) 自协方差函数只与时滞有关,与时间点无关 。 以上面两个时间序列为例。两个序列均满足条件1),因为标准正态分布白噪声和其形成的随机游走的均值函数都是值恒为0的常数函数。再来看条件2)。白噪声的自协方差函数可以表述为: 可以看到只有在时滞为0时值为1,其它均为0,所以白噪声是一个平稳序列。 而随机游走我们上面分析过,其自协方差为: 很明显其自协方差依赖于时间点,所以是一个非平稳序列。 后面可以看到,一般的时间序列分析往往针对平稳序列,对于非平稳序列会通过某些变换将其变为平稳的,例如

PromQL

匿名 (未验证) 提交于 2019-12-03 00:15:02
PromQL PromeQL是prometheus内置的数据查询语言,其提供对时间序列数据丰富的查询,聚合以及逻辑运算能力的支持。并且被广泛应用在prometheus的日常应用当中,包括数据查询,可视化,告警处理当中,grafana绘图就是利用了prometheus里面的 PromQL 的功能 查询时间序列 当prometheus通过exporter采集到相对应的监控指标样本数据后,我们就可以通过promQL对监控样本数据进行查询, 当我们直接使用监控指标名称查询是,可以查询该指标下面的所有时间序列,例如 prometheus_http_requests_total #等同于prometheus_http_requests_total{} #得到的就是countr类型 PromQL还支持用户根据时间序列的标签匹配模式来对时间序列进行过滤,目前主要支持两种匹配模式: 完全匹配 和 正则匹配 。 完全匹配 PromeQL支持使用 = 和 != 两种完全匹配模式 我们先过滤出请求头为 /status 的次数: prometheus_http_requests_total{handler="/status"} 然后在过滤请求头不包含 /status 和 /api 的 prometheus_http_requests_total{handler!="/status",handle!="

时间序列回归

匿名 (未验证) 提交于 2019-12-03 00:14:01
VAR模型针对平稳时间序列,VEC模型针对存在协整关系的非平稳时间序列 协整方程表示变量之间的长期均衡关系,它反映的是系统内部不同变量之间的均衡 来源:博客园 作者: 罗采薇 链接:https://www.cnblogs.com/caiweijun/p/11656398.html