预测模型

Transformer原理 论文地址：Attention Is All You Need：https://arxiv.org/abs/1706.03762 Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型。Transformer最大的优势在于其在并行化处理上做出的贡献。 Transformer抛弃了以往深度学习任务里面使用到的 CNN 和 RNN ，目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。 Transformer总体结构 和Attention模型一样，Transformer模型中也采用了 encoer-decoder 架构。但其结构相比于Attention更加复杂，论文中encoder层由6个encoder堆叠在一起，decoder层也一样。 对于encoder，包含两层，一个self-attention层和一个前馈神经网络，self-attention能帮助当前节点不仅仅只关注当前的词，从而能获取到上下文的语义。 decoder也包含encoder提到的两层网络，但是在这两层中间还有一层attention层，帮助当前节点获取到当前需要关注的重点内容。 现在我们知道了模型的主要组件，接下来我们看下模型的内部细节。首先

语音信号的线性预测编码（ LPC ） by Goncely 1 线性预测技术概述 线性预测编码是语音处理中的核心技术，它在语音识别、合成、编码、说话人识别等方面都得到了成功的应用。其核心思想是利用输入信号 u 和历史输出信号 s 的线性组合来估计输出序列 s(n) ： 式中的 a i 和 b j 被称为预测系数，其传递函数可表示为： 该式为有理函数，在基于参数模型的谱估计法和系统辨识研究中，根据极点和零点数目的不同，它存在三种情况：一种是只有零点没有极点的情况，分母 U(z) 为单位 1 ，称为滑动平均模型，即 MA （ Moving-Average ）模型；另一种是只有极点没有零点的，分子 S(z) 为常数，称为自回归模型，即 AR （ Auto-Regressive ）模型；第三种是既有零点又有极点的，称为自回归滑动平均模型，即 ARMA （ Auto-Regressive Moving-Average ）模型。这三种模型中对于复杂的频谱特性的描述能力最强的应该是 ARMA 模型，但它的参数估计存在许多复杂问题。全极点模型的参数估计十分简便，而且往往只需要很少几个极点就可以相当好地逼近一种频谱或一种系统的频率响应，因为它的传递函数相当于一个递归数字滤波器，即 IIR 滤波器。众所周知，用一个三四阶的 IIR 数字滤波器来逼近希望的频率响应幅度特性就可能相当于一个二十多阶的

1. 解释一下GBDT算法的过程 GBDT(Gradient Boosting Decision Tree)，全名叫梯度提升决策树，使用的是Boosting的思想。 1.1 Boosting思想 Boosting方法训练基分类器时采用串行的方式，各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加，每一层在训练的时候，对前一层基分类器分错的样本，给予更高的权重。测试时，根据各层分类器的结果的加权得到最终结果。 Bagging与Boosting的串行训练方式不同，Bagging方法在训练过程中，各基分类器之间无强依赖，可以进行并行训练。 1.2 GBDT原来是这么回事 GBDT的原理很简单，就是所有弱分类器的结果相加等于预测值，然后下一个弱分类器去拟合误差函数对预测值的残差(这个残差就是预测值与真实值之间的误差)。当然了，它里面的弱分类器的表现形式就是各棵树。 举一个非常简单的例子，比如我今年30岁了，但计算机或者模型GBDT并不知道我今年多少岁，那GBDT咋办呢？ 它会在第一个弱分类器（或第一棵树中）随便用一个年龄比如20岁来拟合，然后发现误差有10岁； 接下来在第二棵树中，用6岁去拟合剩下的损失，发现差距还有4岁； 接着在第三棵树中用3岁拟合剩下的差距，发现差距只有1岁了； 最后在第四课树中用1岁拟合剩下的残差，完美。 最终，四棵树的结论加起来，就是真实年龄30岁（实际工程中

sklearn模型的保存和加载API from sklearn.externals import joblib 。保存：joblib.dump(estimator,'test.pkl') 。加载：estimator=joblib.load('test.pk') 将训练模型保存下来，下次有新的需要预测的数据传进来的时候直接加载模型，然后预测就不用每次都从新训练了。 案例：癌症(逻辑回归)分类预测–良/恶性 import pandas as pd import numpy as np '''# 1、读取数据''' path = "https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data" column_name = [ 'Sample code number' , 'Clump Thickness' , 'Uniformity of Cell Size' , 'Uniformity of Cell Shape' , 'Marginal Adhesion' , 'Single Epithelial Cell Size' , 'Bare Nuclei' , 'Bland Chromatin' , 'Normal Nucleoli

安装 pip install catboost 数据集 分类 ： MNIST （60000条数据784个特征），已上传 CSDN 代码 import random import numpy as np import pandas as pd import matplotlib.pyplot as plt from catboost import CatBoostClassifier from sklearn.model_selection import train_test_split train = pd.read_csv('./input/mnist/train.csv') train.head() X = train.iloc[:, 1:] # 训练数据 y = train['label'] #标签 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 划分训练、测试集 def plot_digits(instances, images_per_row=10): '''绘制数据集 :param instances: 部分数据集 :type instances: numpy.ndarray :param images_per_row:

文章目录 线性回归 线性回归学习目标 线性回归引入 线性回归详解 线性模型 一元线性回归 一元线性回归的目标函数 均方误差最小化——最小二乘法 多元线性回归 均方误差最小化——最小二乘法 均方误差最小化——牛顿法 均方误差最小化——拟牛顿法 多项式回归 对数线性回归 局部加权线性回归 正则化 L1正则化 L2正则化 弹性网络 线性回归流程 输入 输出 流程 线性回归优缺点 优点 缺点 小结 线性回归   线性回归是比较经典的线性模型，属于监督学习中预测值为连续值的回归问题。   线性回归针对的是一个或多个特征与连续目标变量之间的关系建模，即线性回归分析的主要目标是在连续尺度上预测输出，而非分类标签，即预测值为连续值。 线性回归学习目标 线性模型 一元线性回归和多元线性回归 多项式回归和对数线性回归 线性回归的L1正则化和L2正则化 线性回归流程 线性回归优缺点 线性回归引入   相信我们很多人可能都有去售楼处买房而无奈回家的行为，就算你没去过售楼处，相信你也应该听说过那令人叹而惊止的房价吧？对于高房价你没有想过这房价是怎么算出来的呢？难道就是房地产商拍拍脑门，北京的一概1000万，上海的一概800万，杭州的一概600万吗？看到这相信你应该有动力想要学好机器学习走向人生巅峰了。   其实仔细想想这房价大有来头，首先房价不可能只和地区有关，北京有1000万的房子，又会有800万

什么是机器学习？ 广义概念： 机器学习是让计算机具有学习的能力，无需明确的编程 —— 亚瑟·萨缪尔，1959 工程概念： 计算机程序利用经验 E 学习任务 T，性能是 P，如果针对任务 T 的性能 P 随着经验 E 不断增长，则称为机器学习。 —— 汤姆·米切尔，1997 机器学习系统的类型 机器学习有多种类型，可以根据以下规则进行分类： 是否在人类监督下进行训练（监督、非监督、半监督和强化学习） 是否可以动态渐进学习（在线学习和批量学习） 它们是否只是简单的通过比较新的数据点和已知的数据点，还是在训练数据中进行模式识别，以建立一个预测模型，就像科学家所做的那样（基于实力学习和基于模型学习） 监督/非监督学习 机器学习可以根据训练时监督的量和类型进行分类。主要有四类：监督、非监督、半监督和强化学习 监督学习 在监督学习中，用来训练算法的训练数据包含了答案，称为标签。 图 1 用于监督学习（比如垃圾邮件分类）的加了标签的训练集 一个典型的监督学习就是分类，垃圾邮件过滤器就是一个很好的例子：用很多带有归类（垃圾邮件和普通邮件）的邮件样本进行训练，过滤器还能用新邮件进行分类。 另一个典型数值是预测目标数值，例如给出一些特征（里程数、车程、品牌等等）称为预测值，来预测一辆汽车的价格。这类任务称为回归，要训练在这个系统，你需要给出大量汽车样本，包括它们的预测值和标签（即它们的价格） 图2

机器学习 概述 什么是机器学习 机器学习是一门能够让编程计算机从数据中学习的计算机科学。 一个计算机程序在完成任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以衡量的P，随着E增加而增加，那么这样计算机程序就被称为机器学习系统。 自我完善，自我增进，自我适应。 为什么需要机器学习 自动化的升级和维护 解决那些算法过于复杂甚至跟本就没有已知算法的问题 在机器学习的过程中协助人类获得对事物的洞见 机器学习的问题 建模问题 所谓机器学习，在形式上可这样理解：在数据对象中通过统计或推理的方法，寻找一个接受特定输入X，并给出预期输出Y的功能函数f，即Y=f(X)。 评估问题 针对已知的输入，函数给出的输出(预测值)与实际输出(目标值)之间存在一定的误差，因此需要构建一个评估体系，根据误差的大小判定函数的优劣。 优化问题 学习的核心在于改善性能，通过数据对算法的反复锤炼，不断提升函数预测的准确性，直至获得能够满足实际需求的最优解，这个过程就是机器学习。 机器学习的种类 监督学习、无监督学习、半监督学习、强化学习 有监督学习：用已知输出评估模型的性能。 无监督学习：在没有已知输出的情况下，仅仅根据输入信息的相关性，进行类别的划分。 半监督学习：先通过无监督学习划分类别，再根据人工标记通过有监督学习预测输出。 强化学习：通过对不同决策结果的奖励和惩罚

1. 统计学习概论 1.1. 概念 定义 统计学习假设数据存在一定统计规律，计算机基于数据构建概率统计模型，并运用模型对数据进行预测与分析一门学科。 主要内容 监督学习(supervised learning)、非监督学习(unsupervised learning)、半监督学习(semi-supervised learning)、强化学习(reinforcement learnin)等。 三要素 模型（model） : 模型的假设空间 策略（strategy） : 模型选择的准则，即确定使用什么样的损失函数 算法（algorithm） : 模型学习的算法，即在最小化损失函数时求解模型参数的算法，如随机梯度下降算法。 术语 输入空间（input space） : 输入所有可能取值的集合 输出空间（output space） : 输出所有可能取值的集合 特征向量（feature vector） : 每一个具体输入的实例（instance），通常由特征向量表示 特征空间（feature space） ：所有特征向量存在的空间，特征空间的每一维对应一个特征。 样本（sample） ：输入与输出对，又称样本点。 假设空间（hypothesis space） ：输入空间到输出空间的映射的集合，模型假设空间的确定意味着学习范围的确定。 注：（1）有时假设输入空间与特征空间为相同的空间；（2

本文部分内容摘自： https://zhuanlan.zhihu.com/p/32553977 1. 背景介绍 在过去的几十年里，由于质量评估(Quality Assessment，QA)在许多领域有其广泛的实用性，比如图像压缩、视频编解码、视频监控等，并且对高效、可靠质量评估的需求日益增加，所以QA成为一个感兴趣的研究领域，每年都涌现出大量的新的QA算法，有些是扩展已有的算法，也有一些是QA算法的应用。 质量评估可分为图像质量评估（Image Quality Assessment, IQA）和视频质量评估（Video Quality Assessment, VQA），本文主要讨论图像质量评估。IQA从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score, MOS）或平均主观得分差异（Differential Mean Opinion Score, DMOS）表示。客观评估使用数学模型给出量化值，可以使用图像处理技术生成一批失真图像，操作简单，已经成为IQA研究的重点。图像质量评估算法的目标是自动评估与人的主观质量判断相一致的客观图像质量。然而，主观评估费时费力，在实际应用中不可行，并且主观实验受观看距离、显示设备、照明条件、观测者的视觉能力