Prophet

猪肉涨价飞快?让我们用python来预测一下今年最后一个月的猪肉价格吧!

冷暖自知 提交于 2020-12-24 06:32:10
今天我们将使用Facebook的 “先知”模型 来预测2019年12月广东省的猪肉价格,本实验仅供参考。 1.准备数据 在猪价系统网站上利用开发者 工具 获得过去一年广东省的猪肉价格保存为json格式: https://zhujia.zhuwang.cc/areapriceinfo-440000.shtml 部分数据如下: 实际上我认为,就猪价这样的对象,拿一年的数据是远远不够的,但是实在找不到前几年的数据。作为一次实验,我暂时以过去一年的数据作为训练集,如果你想要更精准地预测价格,建议至少找3年的数据。 2.数据预测 以下教程默认你已经安装好了Python并可以在CMD或Terminal中使用pip 2.1 安装 “先知” prophet Prophet这个包真是一言难尽,如果你按照官方的教程来进行安装, 你会发现啥也安装不上(我吐了)。这里给大家介绍我的安装方法,避免你们走弯路: 第一步,我们需要安装fbprophet的依赖PyStan: pip install pystan 第二步,使用conda命令安装(需要安装anaconda, 搜anaconda官网安装即可): conda install -c conda-forge fbprophet 2.2 编写预测代码 首先,利用开发者 工具 弄下来的数据缺少日期,我们需要获得过去365天的日期,并与原数据对应上: #

马斯克与贝索斯:世界上最有钱的两人展开太空大战

无人久伴 提交于 2020-12-11 12:52:14
作者 | 李鹏飞 来源 | 字母榜(ID:wujicaijing) 埃隆·马斯克的火星移民梦又前进了一小步。日前他在推特上透露,Starship SN8原型机最早可能会在美国时间12月2日开始飞行。此前,11月25日,SpaceX升空了第16批星链卫星,并且成功回收了一枚7手运载火箭“猎鹰9号”。 在马斯克之前,有能力在私人航天领域进行探索的只有实力超强的大国, 近二十年来,这个技术、资金甚至运气都密集的行业迎来了一些民间player。马斯克的SpaceX之外,最引人瞩目、实力最强的要数亚马逊公司老板贝索斯开创的商业太空公司Blue Origin(蓝色起源)。 恰巧的是,贝索斯和马斯克分别是2020年新晋世界首富和第二富豪。 据国外媒体11月24日报道,得益于特斯拉股价不断上涨,马斯克的身家在今年也大幅增加,在彭博亿万富豪指数榜上,马斯克目前已超过了盖茨,升至第2位,身价1280亿美元,榜首的依旧是亚马逊创始人贝佐斯,他目前的身家为1820亿美元。 同行是冤家。贝索斯和马斯克2004年还能一起共进晚餐,然而在一起挖墙脚事件后,两人再也不一起聊登陆火星的共同梦想了。 据《硅谷钢铁侠——埃隆马斯克自传》中描述,两人纷争的序幕源自一次蓝色起源从SpaceX挖角事件。贝索斯明目张胆地从SpaceX挖走了世界顶尖搅拌摩擦焊接专家雷· 米耶科塔(Ray Miryekta)。“杰夫聘用了雷

时间序列神器之争:prophet VS lstm

扶醉桌前 提交于 2020-10-24 00:43:10
一、需求背景 我们福禄网络致力于为广大用户提供智能化充值服务,包括各类通信充值卡(比如移动、联通、电信的话费及流量充值)、游戏类充值卡(比如王者荣耀、吃鸡类点券、AppleStore充值、Q币、斗鱼币等)、生活服务类(比如肯德基、小鹿茶等),网娱类(比如QQ各类钻等),作为一个服务提供商,商品质量的稳定、持续及充值过程的便捷一直是我们在业内的口碑。 在整个商品流通过程中,如何做好库存的管理,以充分提高库存运转周期和资金使用效率,一直是个难题。基于此,我们提出了智能化的库存管理服务,根据订单数据及商品数据,来预测不同商品随着时间推移的日常消耗情况。 二、算法选择 目前成熟的时间序列预测算法很多,但商业领域性能优越的却不多,经过多种尝试,给大家推荐2种时间序列算法:facebook开源的Prophet算法和LSTM深度学习算法。 现将个人理解的2种算法特性予以简要说明: (1)、在训练时间上,prophet几十秒就能出结果,而lstm往往需要1个半小时,更是随着网络层数和特征数量的增加而增加。 (2)、Prophet是一个为商业预测而生的时间序列预测模型,因此在很多方便都有针对性的优化,而lstm的初衷是nlp。 (3)、Prophet无需特征处理即可使用,参数调优也明确简单。而lstm则需要先进行必要的特征处理,其次要进行正确的网络结构设计,因此lstm相对prophet更为复杂。

限时免费 | 人工智能项目实战训练营,给你一个成为AI算法工程师的机会

旧街凉风 提交于 2020-08-16 12:16:11
在当前的就业环境下,人工智能工程师的高薪优势凸显,可却有不少人陷入了瓶颈期,不知道该朝着哪个方向发展自己, “掌握理论知识但缺乏实战经验” 成为了求职晋升路上的短板,硬件设备的不足和自主学习的惰性也成为了前进路上的绊脚石。 在总结了不少学员的急迫需求之后,开课吧人工智能学院特此开展 《人工智能项目实战训练营》 ,开设多个 方向课程 ,帮你找到准确定位。与此同时, 独家实训平台+助教陪伴式学习 也帮你解决学习上软硬件的各种问题, 360度无死角 为你的安心学习铺平道路! 我该如何参加? ① 扫描下方二维码添加课程顾问 获取实训平台说明书以及更多课程福利待遇 ???????????? ② 根据需求自主选择 适合自己 的课程内容 ③ 一线讲师天团 本课程的老师,均来自国际名校(清华大学、佛罗里达大学、浙江大学等)且均具备世界知名企业(阿里巴巴、商汤科技、IBM中国实验室等)的实际工作经验。 01 02 03 04 05 滑动查看更多 ④ 开通实训平台权限,进行自主训练 独家自研线上教学环境, 免除 学员上课前下载步骤,课上 无需 配置环境,代码驱动,可以 实时跟随老师 的授课思路。同时能够 在线进行编辑运行,随学随用 。 独家在线实验环境,让你的上课过程从“只读”模式,转变为“编辑”模式。 ⑤ 根据所选课程进入相对应的班级群, 实现“ 助教+班主任贴心辅导 ”的高效率学习方式: 专人督促

CODING DevOps 系列第六课:IT 运维之智能化告警实践

与世无争的帅哥 提交于 2020-08-10 01:46:09
IT 运维告警现状 目前 IT 运维领域保证服务运行正常的主要方法是对相关运维指标进行实时监控,并根据经验设定一些规则,通过将实时监控的数据与规则进行对比,当某个指标监控值不符合设定的规则时,则判定为异常的状况,这样的话就会发送对应的告警到告警平台。告警平台收到通知后,会分配给对应的运维人员进行处理,运维人员去根据告警信息来排查,最终定位故障的根本原因,并对故障进行修复。从这个流程可以看出,整个过程是以告警为中心,所以告警的质量是至关重要的。 但在实际运维过程中,我们可以发现这个过程中其实存在很多问题。首先,监控系统的规则难以设定。因为规则是基于专家经验设定的,随着系统规模变大,复杂度提高,监控覆盖的完善,监控指标数量指数性增加,指标形态千变万化,基于专家经验的规则设定力不从心,误报率、漏报率居高不下。运维人员可能会遭遇告警风暴,每天被数千个告警轰炸,难以应付。故障发生后,对若干个告警逐一排查找故障根因,效率极低,大大增加故障的恢复时间。故障有可能无法预知,有些本来可以避免的故障还是发生了。 智能化告警的理念和相关技术 为了解决上述问题,在智能运维领域,智能化告警的概念出现了。智能化告警主要解决 4 个问题:一、精准告警,拒绝告警风暴;二、快速故障定位;三、进行故障预测,避免故障发生;四、规则设置自动化,不再通过人工经验来设置规则。 智能异常检测的核心理念是利用机器学习算法

14. 使用tensorflow2中keras框架搭建LSTM神经网络模型进行时间序列预测

牧云@^-^@ 提交于 2020-08-08 08:52:06
使用tensorflow2中keras框架搭建LSTM神经网络模型进行时间序列预测 Step1:导入包 Step2:设置GPU的使用率可按需增长 Step3:读取数据 Step4:设置参数 Step5:构建数据集 切分数据 创建数据集 Step6:模型构建及训练 构建LSMT神经网络模型 训练模型并保存 画图查看模型学习情况 Step7:模型检验 训练检验 画图检验 Step8:进行预测 设置训练集 进行预测 画图展示 完整代码 Step1:导入包 import numpy as np import pandas as pd import matplotlib . pyplot as plt from sklearn . preprocessing import MinMaxScaler import os import tensorflow as tf from tensorflow import keras Step2:设置GPU的使用率可按需增长 # set GPU tf . debugging . set_log_device_placement ( True ) gpus = tf . config . experimental . list_physical_devices ( 'GPU' ) tf . config . experimental . set

万字长文|如何定义“失败的产品经理”

霸气de小男生 提交于 2020-07-28 06:01:29
前言:总有一种错觉,别人家的产品经理都是神一样,动不动改变世界的那种。就没有失败的产品经理吗? 提出问题的背景 前阵子刚刚和阿里、百度的产品经理聊过产品这块,总结输出了《腾讯产品流程》和《阿里系项目复盘》两篇文章。但是听到这么个故事,给了我当头一棒。 “过了这么些年,他每每谈起之前他就职过的公司,他参与的项目,唏嘘不已。他觉得还是自己眼光毒辣,他说他早就说过事情不能这么干,不能那么干,但那些人就是不听他的,因此失败已经注定,他们都是活该。他说他的老板和几个同事都是大傻逼。 他开始和我谈互联网,谈虚拟现实,谈未来方向,我听得云里雾里,他唾沫横飞,激情四射。似乎自己是那个「 Crazy One 」,只是时运不济。 他说很多人都不喜欢他,他觉得是自己太独特了,所以才不合群。他觉得有太多需要变革的东西,他都跃跃欲试。他说他就差一个伯乐和一个称心如意的平台了。 他又谈到他的阅读,对于《人人》、《结网》、《乌合》、《怪诞心理》、《体验要素》、《需求》 ……哦,还有那本他说张小龙推荐必看的书,和我谈他的一些阅读见解。他还谈到历史,常说的一句话是「历史总在不断重演」,意思是为什么有些人就是不知道教训,老是重复犯错,真是傻逼。 他是一个彻头彻尾的失败的产品经理。 你问我他是谁? 他有时是我,有时是你。 ” 听完这个故事,我和你们一样,感到很困惑。所以特意去产品社区提出了这样的一个问题: 如何定义 “

using Prophet on netCDF file using xarray

a 夏天 提交于 2020-01-16 05:39:06
问题 I have a 'netCDF' file which I have read with xarray and I want to use to generate a forecast for each pixel in the file. import xarray as xr from fbprophet import Prophet import time with xr.open_dataset('avi.nc', chunks={'y': 2, 'x':2}) as avi: print(avi) <xarray.Dataset> Dimensions: (ds: 104, lat: 213, lon: 177) Coordinates: * lat (lat) float64 -2.711e+06 -2.711e+06 -2.711e+06 -2.711e+06 ... * lon (lon) float64 1.923e+06 1.924e+06 1.924e+06 1.924e+06 1.924e+06 ... * ds (ds) object '1999-07

监控指标10K+!携程实时智能检测平台实践

人盡茶涼 提交于 2020-01-07 01:15:11
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 简介: 本文将介绍携程实时智能异常检测平台——Prophet。到目前为止,Prophet 基本覆盖了携程所有业务线,监控指标的数量达到 10K+,覆盖了携程所有订单、支付等重要的业务指标。Prophet 将时间序列的数据作为数据输入,以监控平台作为接入对象,以智能告警实现异常的告警功能,并基于 Flink 实时计算引擎来实现异常的实时预警,提供一站式异常检测解决方案。 作者:潘国庆@携程 一、背景介绍 1.规则告警带来的问题 大部分监控平台是基于规则告警实现监控指标的预警。规则告警一般基于统计学,如某个指标同比、环比连续上升或下降到一定阈值进行告警。规则告警需要用户较为熟悉业务指标的形态,从而较为准确的配置告警阈值,这样带来的问题是配置规则告警非常繁琐、告警效果也比较差,需要大量人力物力来维护规则告警。 当一个告警产生时,也需要耗费许多人力验证告警是否正确并确认是否需要重新调整阈值。在携程,规则告警还涉及了其它问题,比如携程仅公司级别的监控平台就有三个,每个业务部门还会根据自己的业务需求或业务场景构建自己的监控平台。携程内部有十几个不同规模的监控平台,在每一个监控平台都配置监控指标,对于用户是非常繁琐的。 二、Prophet 针对规则告警存在的以上几种问题,携程构建了自己的实时智能异常检测平台——

携程实时智能检测平台建设实践

大城市里の小女人 提交于 2020-01-06 14:36:14
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 一、背景介绍 1.规则告警带来的问题 大部分监控平台是基于规则告警实现监控指标的预警。规则告警一般基于统计学,如某个指标同比、环比连续上升或下降到一定阈值进行告警。规则告警需要用户较为熟悉业务指标的形态,从而才能较为准确的配置告警阈值,这样带来的问题是配置规则告警非常繁琐、告警效果也比较差,需要大量人力物力来维护规则告警。当一个告警产生时,也需要耗费许多人力验证告警是否正确并确认是否需要重新调整阈值。在携程,规则告警还涉及了其它问题,比如携程光公司级别的监控平台就有三个,每个业务部门还会根据自己的业务需求或业务场景构建自己的监控平台。携程内部有十几个不同规模的监控平台,在每一个监控平台都配置监控指标对于用户是非常繁琐的。 二、Prophet 针对规则告警存在的以上几种问题,携程构建了自己的实时智能异常检测平台——Prophet。携程构建Prophet的灵感源于FaceBook的Prophet,但实现上有别于FaceBook的Prophet。 1.一站式异常检测解决方案 首先,Prophet以时间序列类型的数据作为数据输入。其次,Prophet以监控平台作为接入对象,以去规则化为目标。基于深度学习算法实现异常的智能检测,基于实时计算引擎实现异常的实时检测,提供了统一的异常检测解决方案。 2.Prophet系统架构