预测模型

回归问题预测的目标是连续变量 数据描述 # 从sklearn.datasets导入波士顿房价数据读取器 from sklearn . datasets import load_boston # 从读取房价数据存储在变量boston中 boston = load_boston # 输出数据描述 boston . DESCR Number of Instances: 506 Number of Attributes: 13 numeric/categorical predictive.Median Value (attribute 14) is usually the target. Missing Attribute Values: None 由上述可知，该数据集共有506条美国波士顿地区房价的数据，每条数据包括对指定房屋的13项数值型特征描述和目标房价（平均值）。另外，该数据中没有缺失的属性/特征值 数据处理 from sklearn . model_selection import train_test_split import numpy as np X = boston . data y = boston . target # 随机采样25%的数据构建测试样本，其余作为训练样本 X_train , X_test , y_train , y_test = train_test

最近发现一个特别好用的统计软件——minitab 在他的帮助文档中，很好的总结了如何比较拟合结果的好坏 以下为具体网址： https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/regression/how-to/nonlinear-regression/interpret-the-results/key-results/#step-3-determine-how-well-the-model-fits-your-data 我们在非线性和线性拟合后，会得到残差平方和、决定系数R方等等，之前我一直用前两个来比较拟合优度，但是对于不同的拟合方程，他们的残差平方和也不同。当我们确定一个线性模型与数据的吻合程度时，几乎会将所有注意力集中在R-squared上。但是,以前我曾经说过R-squared被高估了。下面会提供一些其他的方法。 简单概述概述一下。 在此之前需要明白几个术语： 其他参数见网址：（ https://support.minitab.com/zh-cn/minitab/18/help-and-how-to/modeling-statistics/regression/how-to/fitted-line-plot/methods-and-formulas/methods

目录 1 使用SIR模型进行疫情的仿真 1.1 SIR模型的介绍 1.2 SIR模型的工作原理 1.3 使用Matlab对新冠肺炎疫情进行模拟 1.4 SIR模型的优缺点分析与总结 2 使用插值法观察疫情初期是否有瞒报漏报现象 2.1 插值法的概念介绍 2.2 插值法的方法简介 2.3 使用分段三次埃尔米特插值观察疫情数据 2.4 总结 3 展望 目前，由武汉新型冠状病毒引起的全国肺炎疫情依旧处于肆虐爆发的时期，截止2月4日，全国累计确诊新型肺炎24324例，累计死亡490例，目前防治形势依旧严峻。自疫情爆发以来，除却一线医生以及生物医学专家在前线的战斗，后方不少专家大神也利用专业的数学模型进行疫情的建模仿真预测。作为刚入坑不久的小白，本人使用一些较为简单的数学模型，结合自己的一些思考，尝试解决提出的问题。 1 使用SIR模型进行疫情的仿真 自疫情爆发以来，多地政府迅速响应，采取封城、隔离措施，那么这些政策的有效性究竟有多大呢？本节中我主要来用相应的模型来进行论证。 1.1 SIR模型的介绍 首先来介绍一下SIR模型，SIR模型是是一种传播模型，是信息传播过程的抽象描述，广泛地应用于传染病传播模型之中。要理解SIR模型，关键点如下： 首先，模型中把传染病流行范围内的人群分成三类：S类，易感者（Susceptible），指未得病者，但缺乏免疫能力，与感病者接触后容易受到感染；I类

文章： Deep Mutual Learning 出自 CVPR2017(18 年最佳学生论文 ) 文章链接： https://arxiv.org/abs/1706.00384 代码链接： https://github.com/YingZhangDUT/Deep-Mutual-Learning 主要贡献： 提出了一种简单且普遍适用的方法，通过在相同 / 不同的未预训练的网络中进行相互蒸馏，来提高深层神经网络的性能。通过这种方法，我们可以获得比静态教师从强网络中提取的网络性能更好的紧凑网络 . 和有教师指导的蒸馏模型相比，相互学习策略具有以下优点 :1) 随着学生网络的增加其效率也得到提高； 2) 它可以应用在各种各样的网络中，包括大小不同的网络； 3) 即使是非常大的网络采用相互学习策略，其性能也能够得到提升 由于是学生网络相互学习，而不是传统知识萃取，文章也说明了两个以上网络共同学习的策略，并从熵值的角度给出理论支持。 知识蒸馏的内容不再赘述， https://blog.csdn.net/nature553863/article/details/80568658 整理得非常完善。 网络结构及损失函数： 每 个网络由常规的有监督学习损失和拟态损失来共同训练。拟态损失是指是每个学生的后验类别要和其他学生的类别概率相一致。

前言 保持住节奏，每周起码一篇paper reading，要时刻了解研究的前沿，是一个不管是工程岗位还是研究岗位AIer必备的工作，共勉！ 准备再写几篇这种非常细致的文章之后，接下来写作主要集中在模型的结构，创新点，解决的问题，以及比较巧妙的操作，代码实战，以及我个人感觉需要写下来，并且有意思的东西。 一、Address 这是ICML2018年的一篇paper，来自于清华的团队 PredRNN++: Towards A Resolution of the Deep-in-Time Dilemma in Spatiotemporal Predictive http://proceedings.mlr.press/v80/wang18b/wang18b.pdf 二、Introduction 2.1 创新思路 文中abstract中先指出本文作者的创新之一在于把双memory用级联的方式链接构建新的LSTM结构（Causal LSTM），并且全篇文章围绕deeper in time来说明，这里deeper in time在读完全篇之后理解为就是网络cell的堆叠和时间步的结构。 这里还提出了用一个gradient highway units work去解决存在的梯度消失问题，并且此结构和Causal LSTM无缝连接。 句子后面之所以会强调自适应的获取短时和长时的信息依赖

Softmax Regression 1. softmax 回归 softmax 回归主要是解决分类问题，输出是离散值，区别于线性回归，输出单元从一个变成了多个。 注： 需要在notebook文件地址下打开jupyter notebook，如果在子文件夹 04 chapter-deep-learning-basics 下打开，则无法访问 notebook/img 中的图片 1.1 softmax回归模型 softmax回归将输入特征与权重做线性叠加，输出值个数等于标签里的类别数。假设有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的 \(w\) ）、偏差包含3个标量（带下标的 \(b\) ），且对每个输入计算 \(o_1, o_2, o_3\) 这3个输出： \[ \begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{21} + x_3 w_{31} + x_4 w_{41} + b_1,\\ o_2 &= x_1 w_{12} + x_2 w_{22} + x_3 w_{32} + x_4 w_{42} + b_2,\\ o_3 &= x_1 w_{13} + x_2 w_{23} + x_3 w_{33} + x_4 w_{43} + b_3. \end{aligned} \] softmax回归是一个单层神经网络

1. 简介 WEKA的全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），它的源代码可通过 http://www.cs.waikato.ac.nz/ml/weka 得到。同时weka也是新西兰的一种鸟名，而WEKA的主要开发者来自新西兰。 WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。 如果想自己实现数据挖掘算法的话，可以看一看weka的接口文档。在weka中集成自己的算法甚至借鉴它的方法自己实现可视化工具并不是件很困难的事情。 2005 年8月，在第11届ACM SIGKDD国际会议上，怀卡托大学的Weka小组荣获了数据挖掘和知识探索领域的最高服务奖，Weka系统得到了广泛的认可，被誉为数据挖掘和机器学习 历史上的里程碑，是现今最完备的数据挖掘工具之一（已有11年的发展历史）。Weka的每月下载次数已超过万次。 --整理自 http://www.china-pub.com/computers/common/info.asp?id=29304 2. 数据格式 巧妇难为无米之炊。首先我们来看看WEKA所用的数据应是什么样的格式。 跟很多电子表格或数据分析软件一样

统计学习方法概论 1.1 统计学习 统计学习 （statistics learning）： 计算机 基于 数据 构建 概率统计模型 并运用 模型 对 数据 进行 预测与分析 。也称为 统计机器学习 （statistics machine learning）。 统计学习的特点： 以 计算机及网络 为平台，是建立在计算机及网络之上的； 以 数据 为研究对象，是数据驱动的学科； 目的是对 数据 进行 预测与分析 ； 统计学习以 方法 为中心，统计学习方法构建 模型 并应用模型进行预测与分析； 是 概率论、统计学、信息论、计算理论、最优化理论及计算机科学等 多个领域的交叉学科； // 现在我们所说的机器学习，往往是指 统计机器学习 。 统计学习的对象 数据（data） 。 首先呢，统计学习从数据出发，提取数据的特征，抽象出数据中的模型，发现数据中的知识，最终又回到对数据的分析预测中去。 其次，作为统计学习的对象，数据是多样的，它包括存在于计算机及网络上的各种 数字 、 文字 、 图像 、 视频 、 音频 数据以及它们的组合。 关于数据的基本假设： 同类数据具有一定的统计规律性。 （什么叫“同类数据”：具有某种共同性质的数据，比如英文文章，互联网网页，数据库中的数据等，它们具有统 计规律性 ，所以可以用 概率统计方法 来进行处理。比如，可以用随机变量描述数据中的特征

线性回归模型的数学表达式如公示1所示： θ \theta θ 统称为模型的参数，其中 θ 0 \theta_0 θ 0 ​ 被称为截距(intercept)， θ 1 \theta_1 θ 1 ​ ~ θ n \theta_n θ n ​ 被称为系数(coefficient)， x i x_{i} x i ​ 表示数据属性的第i个自变量。我们通过矩阵形式来表示这个方程，如公式2所示： 这里 x x x 和 θ \theta θ 都可以被看成一个矩阵，线性回归的任务就是通过预测函数 z z z 来映射输入的特征矩阵 x x x 和标签 y y y 的线性关系，而构造预测函数的核心就是找出模型的参数： θ T \theta_T θ T ​ 和 θ 0 \theta_0 θ 0 ​ ，这里是通过著名的最小二乘法来求解的。 来源： CSDN 作者： 阴天了 链接： https://blog.csdn.net/sun_xiao_kai/article/details/103937479

文章目录 笔记 业务流程迭代中的模型改进 1.损失函数的选择 2.业务规则融入模型 3.缺失值处理 长尾问题优化 工程开发实践 1.训练实践部分 整体训练流程 数据并行训练方式 TF模型集成预处理 2.TF模型线上预测 笔记 今天在美团技术博客上学习了一下送达时间的预测模型工程化，记录一下。 ETA（Estimated Time of Arrival，“预计送达时间”），即用户下单后，配送人员在多长时间内将外卖送达到用户手中。送达时间预测的结果，将会以”预计送达时间”的形式，展现在用户的客户端页面上，是配送系统中非常重要的参数，直接影响了用户的下单意愿、运力调度、骑手考核，进而影响配送系统整体成本和用户体验。 ETA作为系统的调节中枢，需要平衡用户-骑手-商家-配送效率。从用户的诉求出发，尽可能快和准时，从骑手的角度出发，太短会给骑手极大压力。从调度角度出发，太长或太短都会影响配送效率。而从商家角度出发，都希望订单被尽可能派发出去，因为这关系到商家的收入。 对于ETA建模，不光是简单一个时间的预估，更需要的是全链路的时间预估，同时更需要兼顾”单量-运力-用户转化率”转化率之间的平衡。配送ETA的演变包括了数据、特征层面的持续改进，也包括了模型层面一路从LR-XGB-FM-DeepFM-自定义结构的演变。 业务流程迭代中的模型改进 与大部分CTR模型的迭代路径相似