回归模型

大纲： 算法分类 有监督学习与无监督学习 分类问题与回归问题 生成模型与判别模型 强化学习 评价指标 准确率与回归误差 ROC曲线 交叉验证 模型选择 过拟合与欠拟合 偏差与方差 正则化 半监督学习归类到有监督学习中去。 有监督学习大部分问题都是分类问题，有监督中的分类问题分为生成式模型和判别模型。 分类问题常用的评价指标是准确率，对于回归问题常用的评价指标是回归误差均方误差。 二分类问题中常为它做ROC曲线。 过拟合通用的解决手段是正则化。 算法分类： 监督信号，就是样本的标签值，根据知否有标签值将机器学习分类为有监督学习、无监督学习、半监督学习。 有监督学习与无监督学习： 有监督学习分两个过程：训练和预测。 预测根据输入样本(x,y)，训练出一个模型y=f(x)来预测新的样本的标签值。 无监督学习：聚类和数据降维。 数据降维是为了避免维数灾难，高维数据算法处理起来比较困难，数据之间具有相关性。 强化学习： 是从策略控制领域诞生出来的一种算法，它根据环境数据预测动作，目标是最大化奖励值。 分类问题与回归问题： 有监督学习分为分类问题和回归问题，如判断一个水果的类别就是分类问题，根据个人信息预测收入就是回归问题。 分类问题： R n -->Z，把n维向量映射为一个整数值，该值对应一个分类。 人脸检测就是而分类问题，图像中某个位置区域是人脸还是不是人脸。

逻辑回归 sigmoid函数= \(\sigma(x)=\frac{1}{1+e^{-x}}=\frac{e^{x}}{1+e^{x}}\) 二项逻辑回归模型 有如下条件概率分布， \(w\) 内已经包含了偏置 \(b\) ： \[P(Y=1|x)=\frac{\exp(w\cdot x)}{1+\exp(w\cdot x)}\] \[P(Y=0|x)=\frac{1}{1+\exp(w\cdot x)}\] 对数几率： \[\text{logit}(p)=\frac{P(Y=1|x)}{1-P(Y=1|x)}=\frac{p}{1-p}=w\cdot x\] 参数估计 设： \(P(Y=1|x)=\pi (x), \qquad P(Y=0|x)=1-\pi (x)\) 似然函数为 \[\prod \limits_{i=1}^N[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}\] 对数似然函数为 \[\begin{aligned} \mathcal{L}(w) &=\sum \limits_{i=1}^N[y_i\log \pi(x_i)+(1-y_i)\log (1-\pi(x_i))] \\ & = \sum \limits_{i=1}^N[y_i(w_i \cdot x_i)-\log (1+\exp(w \cdot x_i))] \end

#导入必要的包 import numpy as np import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline BGD求解逻辑回归 In [2]: #⾸先定义联系函数sigmoid函数 def sigmoid(inX): return 1.0/(1+np.exp(-inX)) In [7]: #自定义一个归一化函数（此函数的前提是我的数据是一个矩阵） def regularize(xMat): inMat = xMat.copy()#创建一个副本，这样对inmat进行操作不会影响到xmat inMeans = np.mean(inMat,axis = 0) #求均值 inVar = np.std(inMat,axis = 0) #求标准差 inMat = (inMat - inMeans)/inVar #归一化 return inMat In [4]: #编写批量梯度下降的自定义函数 def logisticReg_0(dataSet,eps=0.01,numIt=50000): xMat = np.mat(dataSet.iloc[:, :-1].values) yMat = np.mat(dataSet.iloc[:, -1].values).T

一、研究意义 卷积神经网络（CNN）由于其强大的特征提取能力，近年来被广泛用于计算机视觉领域。1998年Yann LeCun等提出的LeNet-5网络结构，该结构使得卷积神经网络可以端到端的训练，并应用于文档识别。LeNet-5结构是CNN最经典的网络结构，而后发展的卷积神经网络结构都是由此版本衍生而来。 在过去六年中，由于深度学习和卷积网络的发展和进步，基于图像的目标检测和分类能力已经大大提高。而目标检测是计算机视觉领域一个重要的研究方向，是众多高级任务的必备前提，包括场景理解，事件识别等。目前，目标检测也广泛用于安全监控，自动驾驶，人机交互，增强现实等众多领域。目标检测对计算机视觉和产业界实际应用都有十分重要的意义。 然而, 由于视角、遮挡、姿态等因素引起目标发生形变, 导致目标检测成为一个具有挑战性的任务。设计高准确率高效率的目标检测算法仍具有重大意义。 二、研究现状 如今, 基于卷积神经网络的目标检测已经超越传统目标检测方法, 成为当前目标检测的主流方法。本文根据卷积神经网络的使用方式，将基于卷积神经网络的目标检测分为两大类: 基于分类的卷积神经网络目标检测和基于回归的卷积神经网络目标检测。 1. 基于分类的卷积神经网络目标检测 基于分类的CNN也可以成为two-stage检测算法，传统目标检测方法包含预处理、窗口滑动、特 征提取、特征选择、特征分类、后处理等步骤

参考资料(要是对于本文的理解不够透彻，必须将以下博客认知阅读，方可全面了解LR)： (1). https://zhuanlan.zhihu.com/p/74874291 (2). 逻辑回归与交叉熵 (3). https://www.cnblogs.com/pinard/p/6029432.html (4). https://zhuanlan.zhihu.com/p/76563562 (5). https://www.cnblogs.com/ModifyRong/p/7739955.html 一、逻辑回归介绍 　　逻辑回归（Logistic Regression）是一种广义线性回归。线性回归解决的是回归问题，预测值是实数范围，逻辑回归则相反，解决的是分类问题，预测值是[0,1]范围。所以逻辑回归名为回归，实为分类。接下来让我们用一句话来概括逻辑回归(LR): 逻辑回归假设数据服从伯努利分布，通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。 这句话包含了五点，接下来一一介绍： 逻辑回归的假设 逻辑回归的损失函数 逻辑回归的求解方法 逻辑回归的目的 逻辑回归如何分类 二、逻辑回归的假设 任何的模型都是有自己的假设，在这个假设下模型才是适用的。 逻辑回归的第一个基本假设是假设数据服从伯努利分布。 伯努利分布：是一个离散型概率分布，若成功，则随机变量取值1；若失败

前情提要： 通俗地说逻辑回归【Logistic regression】算法（一） 逻辑回归模型原理介绍 上一篇主要介绍了逻辑回归中，相对理论化的知识，这次主要是对上篇做一点点补充，以及介绍sklearn 逻辑回归模型的参数，以及具体的实战代码。 1.逻辑回归的二分类和多分类 上次介绍的逻辑回归的内容，基本都是基于二分类的。那么有没有办法让逻辑回归实现多分类呢？那肯定是有的，还不止一种。 实际上二元逻辑回归的模型和损失函数很容易推广到多元 逻辑回归。比如总是认为某种类型为正值，其余为0值。 举个例子，要分类为A，B，C三类，那么就可以把A当作正向数据，B和C当作负向数据来处理，这样就可以用二分类的方法解决多分类的问题，这种方法就是最常用的one-vs-rest，简称OvR。而且这种方法也可以方便得推广到其他二分类模型中（当然其他算法可能有更好的多分类办法）。 另一种多元逻辑回归的方法是Many-vs-Many(MvM)，它会选择一部分类别的样本和另一部分类别的样本来做逻辑回归二分类。 听起来很不可思议，但其实确实是能办到的。比如数据有A，B，C三个分类。 我们将A，B作为正向数据，C作为负向数据，训练出一个分模型。再将A，C作为正向数据，B作为负向数据，训练出一个分类模型。最后B，C作为正向数据，C作为负向数据，训练出一个模型。 通过这三个模型就能实现多分类，当然这里只是举个例子

回归损失函数：L1，L2，Huber，Log-Cosh，Quantile Loss 2019-06-04 20:09:34 clover_my 阅读数 430 更多 分类专栏： 阅读笔记 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/clover_my/article/details/90777964 回归损失函数：L1，L2，Huber，Log-Cosh，Quantile Loss 机器学习中所有的算法都需要最大化或最小化一个函数，这个函数被称为“目标函数”。其中，我们一般把最小化的一类函数，称为“损失函数”。它能根据预测结果，衡量出模型预测能力的好坏。 在实际应用中，选取损失函数会受到诸多因素的制约，比如是否有异常值、机器学习算法的选择、梯度下降的时间复杂度、求导的难易程度以及预测值的置信度等等。因此，不存在一种损失函数适用于处理所有类型的数据。损失函数大致可分为两类：分类问题的损失函数和回归问题的损失函数。这篇文章介绍不同种类的回归损失函数以及它们的作用。 1、MAE / L1 + MSE / L2 （1）平均绝对误差(MAE / L1) Y轴：MAE损失。X轴：预测值。 平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE是目标值和预测值之差的绝对值之和

Ŀ¼ 第一部分 　入门 第2章 　创建数据集 第3章 　图形初阶 第4章 　基本数据管理 第5章 　高级数据管理 第二部分 　基本方法 第6章 　基本图形 第7章 　基本统计分析 第三部分 　中级方法 第8章 　回归 第9章 　方差分析 第10章 　功效分析 第11章 　中级绘图 第12章 　重抽样与自助法 第四部分 　高级方法 第13章 　广义线性模型 第14章 　主成分和因子分析 第15章 　处理缺失数据的高级方法 第16章 　高级图形进阶 后记：探索R的世界　　357 附录A 　图形用户界面　　359 附录B 　自定义启动环境　　362 附录C 　从R中导出数据　　364 附录D 　制作出版级品质的输出　　366 附录E 　R中的矩阵运算　　374 附录F 　本书中用到的扩展包　　376 附录G 　处理大数据　　381 附录H 　更新R　　383 原文：https://www.cnblogs.com/LearnFromNow/p/9348355.html

逻辑回归模型是业界运用最为广泛的模型，我们从下面几个方面讨论这个模型： 1. 在模型层面上 ，逻辑回归模型是被用来解决分类问题的。由于分类是一个非线性问题，所以建模的主要难点是如何将非线性问题转化为线性问题。主要从两方面入手： - 从分解问题的角度入手 ：通过引入隐含变量（这里举一个例子，来解释什么是隐含变量：当人们在购买衣服的时候，能被其他人观察到的只有购买与否这个行为，而忽略了在这行为之前的内心博弈的过程。这个博弈的过程其实就是内心在比较购买带来的快乐多还是购买带来的烦恼多，是一个概率问题，在统计上，这个过程我们可以看成事件发生比，它表示的是该事件发生于不发生的比率）。将问题划分为两个层次，一个是线性的隐含变量模型，另一个是基于隐含变量模型结果的非线性的变换。 正态分布的累积分布函数几乎和逻辑分布的累积分布函数一样。 其中虚线，呈S形状，因此也被称为S函数（sigmoid函数），它其实就是描述了某一方竞争胜出的概率。 - 从图像的角度入手 ：逻辑回归通过非线性的空间变换，将原空间内非线性的分类问题转换为新空间内的线性问题，再用线性模型去解决。 上图中右图表示原空间，左图表示变换后的空间。可以形象地把右图想象成橡皮泥，握住里面曲线的两头，用力将其拉成一条直线，就得到了左图， 换句话说，在新的线性空间中，线性回归模型就可以很好的拟合数据了。 2. 在模型评估层面

本文摘自知乎用户文章的第三章节，源出处地址： 作者：城东 链接：https://www.zhihu.com/question/28641663/answer/110165221 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 当数据预处理完成后，我们需要从所有特征中选择有意义的特征，并将其输入机器学习算法和模型进行训练。 通常来说，从以下两个方面考虑来选择特征： （1）特征是否发散：如果一个特征不发散（ 方差接近于0 ），也就是说样本在这个特征上基本上没有差异，对于样本的区分作用不大，此类特征可以过滤掉； （2）特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选选择。 根据特征选择的形式又可以将特征选择方法分为3种： （1）Filter（ 过滤法 ）：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。 （2）Wrapper（ 包装法 ）：根据目标函数（通常是预测效果评分，或cost function），每次选择（或排除）若干特征。 （3）Embedded（ 嵌入法 ）：先使用某些机器学习的算法和模型训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，只是通过训练来确定特征的优劣。 我们通常使用sklearn中的feature_selection库来进行特征选择。 （一