预测模型

GBDT回归树过程详解 转载 简单点1024 最后发布于2018-04-11 22:56:46 阅读数 10281 收藏 展开 综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。   GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。   GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。业界中，Facebook使用其来自动发现有效的特征、特征组合，来作为LR模型中的特征，以提高 CTR预估（Click-Through Rate Prediction）的准确性（详见参考文献5、6）；GBDT在淘宝的搜索及预测业务上也发挥了重要作用（详见参考文献7）。 一、Regression Decision Tree：回归树 回归树总体流程类似于分类树，区别在于，回归树的每一个节点都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化平方误差。也就是被预测出错的人数越多

5.1 模型融合目标 对于多种调参完成的模型进行模型融合。 完成对于多种模型的融合，提交融合结果并打卡。 5.2 内容介绍 模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。 简单加权融合: 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）； 分类：投票（Voting) 综合：排序融合(Rank averaging)，log融合 stacking/blending: 构建多层模型，并利用预测结果再拟合预测。 boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）: 多树的提升方法 5.3 Stacking相关理论介绍 什么是 stacking 简单来说 stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。 将个体学习器结合在一起的时候使用的方法叫做结合策略。对于分类问题，我们可以使用投票法来选择输出最多的类。对于回归问题，我们可以将分类器输出的结果求平均值。 上面说的投票法和平均法都是很有效的结合策略，还有一种结合策略是使用另外一个机器学习算法来将个体机器学习器的结果结合在一起，这个方法就是Stacking。 在stacking方法中，我们把个体学习器叫做初级学习器

（ 转载至： http://www.36dsj.com/archives/98977 ） 随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是 机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务 等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。 人工智能和深度学习 人工智能为机器赋予人的智能。随着计算机计算能力越来越强，在重复性劳动和数学计算方面很快超过了人类。然而，一些人类通过直觉可以很快解决的问题，例如自然语言理解、图像识别、语音识别等，长期以来很难通过计算机解决。随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在这些领域也取得了重大的突破，甚至已经超越人类。深度学习大大拓展了人工智能的领域范围。 深度学习框架 深度学习框架是进行深度学习的工具。 简单来说，一套深度学习框架就是一套积木，各个组件就是某个模型或算法； 开发者通过简单设计和组装就能获得自己的一套方案。深度学习框架的出现降低了深度学习门槛。开发者不需要编写复杂的神经网络代码，只需要根据自己的数据集，使用已有模型通过简单配置训练出参数。 当前主流的深度学习开源框架如下： TensorFlow： 的优势是社区最活跃

数据是一切的根本。 一.获取数据 1.可以使用爬虫scrapy获取数据，但是更一般的是自家数据库中的数据 2.可以获得公用数据集： http：//www.kaggle.com/datasets 等网站 3.可以自己创建虚拟数据 4.注意：1）数据量尽可能多、利于训练，（2）数据内容尽可能有效，能对预测产生作用（有用的特征），（3）数据尽可能要均匀（分类），即全面 5.注意：无论是数据获取还是处理，都要注意多做备份，有能力每步都要备份，数据的价值难以想象。 二.原始数据 1.数据的本质是信息的具体化，原始数据有很多种：数字、文字、图片....我们可以从这些数据中看出里面所包含的信息。 2.计算机接收进行处理的是数字，根据经验，把原始数据转换为数字是比较容易的（比如把图片转化为矩阵的形式）， 3.我们得到的原始数据可能有这样那样的问题，所以要进行下一步的数据清洗 ------原始数据是杂乱的，含有不完整、重复、错误的数据，因此要先进行数据清洗------- 三.数据清洗（Data cleaning） 1.数据清洗是为了对数据进行重新审查和校验，目的在于删除重复信息、纠正存在的错误，并提供数据一致性 2.不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类 （1）缺失数据（数据为空Null）：如果缺失数据的记录占比较小，可以直接剔除（主要包括删除样本或删除特征两种

简介 在商业应用中，时间是最重要的因素，能够提升成功率。然而绝大多数公司很难跟上时间的脚步。但是随着技术的发展，出现了很多有效的方法，能够让我们预测未来。不要担心，本文并不会讨论时间机器，讨论的都是很实用的东西。 本文将要讨论关于预测的方法。有一种预测是跟时间相关的，而这种处理与时间相关数据的方法叫做 时间序列模型 。这个模型能够在与时间相关的数据中，寻到一些隐藏的信息来辅助决策。 当我们处理时序序列数据的时候，时间序列模型是非常有用的模型。大多数公司都是基于时间序列数据来分析第二年的销售量，网站流量，竞争地位和更多的东西。然而很多人并不了解的时间序列分析这个领域。 所以，如果你不了解时间序列模型。这篇文章将会想你介绍时间序列模型的处理步骤以及它的相关技术。 本文包含的内容如下所示： 目录 * 1、时间序列模型介绍 * 2、使用R语言来探索时间序列数据 * 3、介绍ARMA时间序列模型 * 4、ARIMA时间序列模型的框架与应用 让我们开始吧 1、时间序列模型介绍 Let’s begin。本节包括平稳序列，随机游走,Rho系数,Dickey Fuller检验平稳性。如果这些知识你都不知道，不用担心-接下来这些概念本节都会进行详细的介绍，我敢打赌你很喜欢我的介绍的。 Return Top 平稳序列 判断一个序列是不是平稳序列有三个评判标准： 1. 均值 ，是与时间t 无关的常数。下图

python大战机器学习——模型评估、选择与验证 1、损失函数和风险函数 (1)损失函数：常见的有 0-1损失函数 绝对损失函数 平方损失函数 对数损失函数 (2)风险函数：损失函数的期望 经验风险：模型在数据集T上的平均损失 　 根据大数定律，当N趋向于∞时，经验风险趋向于风险函数 2、模型评估方法 (1)训练误差与测试误差 　　训练误差：关于训练集的平均损失 　　测试误差：定义模型关于测试集的平均损失。其反映了学习方法对未知测试数据集的预测能力 (2)泛化误差：学到的模型对未知数据的预测能力。其越小，该模型越有效。泛化误差定义为所学习模型的期望风险 (3)过拟合：对已知数据预测得很好，对未知数据预测得很差的现象。原因是将训练样本本身的一些特点当做了所有潜在样本都具有的一般性质，这会造成泛化能力的下降。常用的防止过拟合的办法为正则化。正则化是基于结构化风险最小化策略的实现。 3、模型评估 (1)留出法：直接将数据划分为三个互斥的部分，然后在训练集上训练模型，在验证集上选择模型，最后用测试集上的误差作为泛化误差的估计。 (2)交叉验证法(S折交叉验证法)：数据随机划分为S个互不相交且大小相同的子集，利用S-1个子集数据训练模型，利用余下的一个子集测试模型。对S种组合依次重复进行，获取测试误差的均值。 (3)留一法：留出一个样例作为测试集。其缺点就是当数据集比较大时计算量太大 (4

克里金法是通过一组具有 z 值的分散点生成估计表面的高级地统计过程。与插值工具集中的其他插值方法不同，选择用于生成输出表面的最佳估算方法之前，有效使用 克里金法 工具涉及 z 值表示的现象的空间行为的交互研究。 什么是克里金法？ IDW （反距离加权法）和 样条函数法 插 值工具被称为确定性插值方法，因为这些方法直接基于周围的测量值或确定生成表面的平滑度的指定数学公式。第二类插值方法由地统计方法（如克里金法）组成， 该方法基于包含自相关（即，测量点之间的统计关系）的统计模型。因此，地统计方法不仅具有产生预测表面的功能，而且能够对预测的确定性或准确性提供某种度 量。 克里金法假定采样点之间的距离或方向可以反映可用于说明表面变化的空间相关性。 克里金法 工 具可将数学函数与指定数量的点或指定半径内的所有点进行拟合以确定每个位置的输出值。克里金法是一个多步过程；它包括数据的探索性统计分析、变异函数建模 和创建表面，还包括研究方差表面。当您了解数据中存在空间相关距离或方向偏差后，便会认为克里金法是最适合的方法。该方法通常用在土壤科学和地质中。 克里金法公式 由于克里金法可对周围的测量值进行加权以得出未测量位置的预测，因此它与反距离权重法类似。这两种插值器的常用公式均由数据的加权总和组成： 其中： Z(s i ) = 第 i 个位置处的测量值 λ i = 第 i 个位置处的测量值的未知权重

本篇博客主要介绍机器学习中的决策树模型。决策树算法在机器学习中算是很经典的一个算法系列。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。决策树模型是一类算法的集合，在数据挖掘十大算法中，具体的决策树算法占有两席位置，即C4.5和CART算法。 决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。 这个女孩的决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别：见和不见。假设这个女孩对男人的要求是：30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员，那么这个可以用下图表示女孩的决策逻辑：　 决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。 决策树是在已知各种情况发生概率((各个样本数据出现中

在预测模型构建方面，由于影响电力负荷变化的因素具有高度的随机性，电力负荷变化也具有较高的随机性，增加了负荷预测的难度。 现有的负荷预测模型可分为三大类：经典预测模型、人工智能预测模型和机器学习预测模型 。经典的预测模型主要包括回归分析和时间序列方法。文献[5]提出了一种多 元线性回归（MLR） 方法。该方法以趋势、温度、周日等变量为基本变量，构造了更多的二阶温度、三阶温度等组合变量。然后利用这些变量训练再结晶模型。在[6]中，提出了一种 时间序列方法 ，其中考虑外生变量，构造了具有广义自回归条件和特征成分的模型。从而避免了传统时间序列模型忽略外部影响因素的缺陷。这些经典预测模型属于线性预测方法，结构简单，预测速度快。然而，对于非线性负荷，这些线性预测方法很难提高预测精度。人工智能预测的主要模型是 神经网络（NN） [7]，[8]，它包括 反向传播神经网络（BPNN ）和 极端学习机（ELM） 。神经网络具有很强的非线性逼近能力和自学习能力，但网络参数的选择比较困难。虽然ELM可以解决这个问题，但它是不稳定的。机器学习预测模型主要包括 最小二乘支持向量机（LSSVM） [9]、 随机森林（RF）[8]和梯度增强回归树（GBRT） [8]、[10]。LSSVM是支持向量机的一种扩展，它克服了支持向量机的缺点，降低了计算复杂度，提高了求解速度。LSSVM对大负载增长仍然有效。然而

数据准备 由于自己没有完整的手写数字集，故采用MNIST手写数字字符库进行训练和识别，这里给出MNIST字符库官方网站: http://yann.lecun.com/exdb/mnist/ 由于是国外的网站，可能会遇到进不去的情况，又是进去也会一直转圈，下载不到东西。不过没关系啦，小编已经给大家准备好的数据集，具体获取方法见文章末尾。 图片数据导入 读取图片数据 这里选取6000张图像（0到9每个数字600张）来训练模型 train_fileName = 'D : \Desktop\matlab_code\machine_learning\handwritting_recognize\train_images\' ; train_Files = dir ( strcat ( train_fileName , '*.bmp' ) ) ; LengthFiles = length ( train_Files ) ; train_img_arr = [ ] ; for i = 1 : LengthFiles srcimg = imread ( strcat ( train_fileName , train_Files ( i ) . name ) ) ; img_arr = reshape ( srcimg , 1 , numel ( srcimg ) ) ; % 图像展开为一行 img