线性回归

讲有监督学习的线性回归。 线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 只有一个自变量的回归称简单回归，大于一个变量的情况称多元回归。 用途:预测、分析变量与因变量关系的强度。 实例:对房屋尺寸与房价进行线性回归，预测房价。 分析:数据可视化，观察变量是否有线性关系。 画散点图 可见明显呈线性趋势。 用sklearn进行线性回归，注意数据的维度需一致，用reshape进行调整。如 linear.fit(x.reshape(length, -1), y) 完整代码见: https://github.com/zwdnet/MyQuant/blob/master/30 回归的结果 我发文章的四个地方，欢迎大家在朋友圈等地方分享，欢迎点“在看”。 我的个人博客地址： https://zwdnet.github.io 我的知乎文章地址： https://www.zhihu.com/people/zhao-you-min/posts 我的博客园博客地址： https://www.cnblogs.com/zwdnet/ 我的微信个人订阅号：赵瑜敏的口腔医学学习园地 来源： https://www.cnblogs.com/zwdnet/p/12397454.html

目录 一、逻辑斯谛分布 二、二项逻辑斯谛回归模型 三、损失函数 一、逻辑斯谛分布 logistic分布函数形式： 在该方程式中，x是随机变量，μ是平均值，s是与标准偏差成比例的比例参数。这个方程我们只需要了解，在逻辑回归模型中真正用到的是sigmoid函数： 当上式中的 μ = 0，s = 1 时，即为sigmoid函数: S ( z ) = 1 1 + e ( − z ) S(z) = \frac{1}{1+e^{(-z)}} S ( z ) = 1 + e ( − z ) 1 ​ 二、二项逻辑斯谛回归模型 逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某事件发生的可能性。可以看到，虽然带有回归二字，但是 逻辑回归模型是一种分类模型。 逻辑回归与线性回归有密不可分的关系： 1.逻辑回归与线性回归都是一种广义线性模型。 2.逻辑回归假设因变量 y 服从伯努利分布（二项分布），而线性回归假设因变量 y 服从高斯分布（正态）。 3. 如果去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。 可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。 上面介绍了sigmod函数： S ( z ) = 1 1 + e ( − z ) S(z) =

文章目录 引入 1 基本要素 1.1 模型定义 引入   线性回归属于单层神经网络，它们设计的概念、技术同样适用于大多数的深度学习模型。本文首先以线性回归为例，介绍大多数深度学习模型的基本要素和表示方法。   关于线性回归的基本概念可以参照：    https://blog.csdn.net/weixin_44575152/article/details/100640051 1 基本要素   以一个简单的房屋价格预测作为例子来解释线性回归的基本要素，其目标为预测一栋房屋的出售价格，且假设房屋价格只取决于房屋面积和房龄两个因素，从而探讨价格与这两个因素之间的关系。   若了解基本要素，可直接前往实现部分。 1.1 模型定义 来源： CSDN 作者： 因吉 链接： https://blog.csdn.net/weixin_44575152/article/details/104564344

二次回归和线性回归的拟合效果的对比 0 导入相关库 import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.preprocessing import PolynomialFeatures from matplotlib.font_manager import FontProperties font_set = FontProperties(fname=r"/usr/share/fonts/vista/YaHeiConsolas.ttf", size=20) 1 预处理 1.1 绘图相关参数设置 def runplt(): plt.figure()# 定义figure plt.title(u’披萨的价格和直径’,fontproperties=font_set) plt.xlabel(u’直径（inch）’,fontproperties=font_set) plt.ylabel(u’价格（美元）’,fontproperties=font_set) plt.axis([0, 25, 0, 25]) plt.grid(True) return plt 1.2 训练集和测试集数据 X_train = [[6], [8],

文章目录 逻辑回归 逻辑回归学习目标 逻辑回归引入 逻辑回归详解 线性回归与逻辑回归 二元逻辑回归的假设函数 让步比 Sigmoid函数图像 二元逻辑回归的目标函数 不同样本分类的代价 二元逻辑回归目标函数最大化 梯度上升法 线性回归和逻辑回归的参数更新 拟牛顿法 二元逻辑回归模型 二元逻辑回归的正则化 L1正则化 L2正则化 多元逻辑回归 OvR MvM 逻辑回归流程 输入 输出 流程 逻辑回归优缺点 优点 缺点 小结 逻辑回归   虽然逻辑回归的名字里有“回归”两个字，但是它并不是一个回归算法，事实上它是一个分类算法。 逻辑回归学习目标 二元逻辑回归的目标函数 最小化二元逻辑回归目标函数 二元逻辑回归的正则化 多元逻辑回归 逻辑回归的流程 逻辑回归的优缺点 逻辑回归引入 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1O9UxwXA-1582719512430)(…/新配图/恶搞图/06-09-操场2.jpg)]   曾经在感知机引入时我们讲过，操场上男生和女生由于受传统思想的影响，男生和女生分开站着，并且因为男生和女生散乱在操场上呈线性可分的状态，因此我们总可以通过感知机算法找到一条直线把男生和女生分开，并且最终可以得到感知机模型为 f ( x ) = s i g n ( ( w ∗ ) T x ) f(x)=sign((w^*)^Tx) f

文章目录 线性回归---MSE 可决定系数---R的平方 局部加权回归 回归解决分类问题？ Logistic回归 Logistic回归损失 广义线性模型GLM Softmax回归 ROC曲线以及AUC值 KNN近邻法说明 实例1 实例2--自回归滑动平均 线性回归实践 读入样本数据 绘图 调参 线性回归—MSE 可决定系数—R的平方 局部加权回归 回归解决分类问题？ Logistic回归 Logistic回归损失 广义线性模型GLM Softmax回归 ROC曲线以及AUC值 KNN近邻法说明 实例1 实例2–自回归滑动平均 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200226191013975.png?x-o 线性回归实践 读入样本数据 绘图 调参 来源： CSDN 作者： qq_43498494 链接： https://blog.csdn.net/qq_43498494/article/details/104521861

正则化线性模型 文章目录 正则化线性模型 1.Ridge Regression (岭回归，又名 Tikhonov regularization) 2.Lasso回归 3.弹性网络 4.Early Stopping 1.Ridge Regression (岭回归，又名 Tikhonov regularization) 线性回归+L2正则 具体的损失函数 目标函数 = 损失函数+正则项 岭回归是线性回归的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）: 以达到在拟合数据的同时，使模型权重尽可能小的目的,岭回归代价函数: 即 α=0：岭回归退化为线性回归 2.Lasso回归 线性回归+L1正则 Lasso 回归是线性回归的另一种正则化版本，正则项为权值向量的ℓ1范数。 Lasso回归的代价函数 ： 【注意 】 Lasso Regression 的代价函数在 θi=0处是不可导的. 解决方法：在θi=0处用一个次梯度向量(subgradient vector)代替梯度，如下式 Lasso Regression 的次梯度向量 Lasso Regression 有一个很重要的性质是：倾向于完全消除不重要的权重。 例如：当α 取值相对较大时，高阶多项式退化为二次甚至是线性：高阶多项式特征的权重被置为0。 也就是说，Lasso

1. 监督学习，非监督学习，半监督学习和增强学习 机器学习方法分类标准一： 监督学习： 分类、回归 给机器的训练数据拥有 “标记”或“答案” 有监督机器学习方法可以分为生成方法和判别方法（常见的生成方法有 LDA主题模型 、 朴素贝叶斯算法 和 隐式马尔科夫模型 等，常见的判别方法有 SVM 、 LR 等），生成方法学习出的是生成模型，判别方法学习出的是判别模型。 非监督学习： 给机器的训练数据没有 “标记”或“答案” 对没有 “标记”的数据进行分类 - 聚类分析 非监督学习的意义： 1.对数据进行降维处理 - 特征提取：信用卡的信用评级和人的胖瘦无关 - 特征压缩：PCA（尽量少损失数据的情况下，将高维的特征压缩到低维） 2.异常检测 半监督学习： 一部分数据有 “标记”，另一部分没有 更常见：各种原因产生的标记缺失 通常先使用无监督学习手段对数据做处理，之后使用监督学习手段做模型的训练和预测 增强学习：（ AlphaGo、无人驾驶、机器人） 根据周围环境的情况，采取行动，根据采取行动的结果，学习行动的方式。 2. 批量学习，在线学习，参数学习和非参数学习 1.在线学习和批量学习（离线学习）： 1.1 批量学习 优点：简单，只需要学习算法的本身，新数据来了，不需要重新学习 问题：如何适应环境的变化？ 解决方案：定时重新批量学习 缺点：每次重新批量学习，运算量巨大

文章目录 线性回归 线性回归学习目标 线性回归引入 线性回归详解 线性模型 一元线性回归 一元线性回归的目标函数 均方误差最小化——最小二乘法 多元线性回归 均方误差最小化——最小二乘法 均方误差最小化——牛顿法 均方误差最小化——拟牛顿法 多项式回归 对数线性回归 局部加权线性回归 正则化 L1正则化 L2正则化 弹性网络 线性回归流程 输入 输出 流程 线性回归优缺点 优点 缺点 小结 线性回归   线性回归是比较经典的线性模型，属于监督学习中预测值为连续值的回归问题。   线性回归针对的是一个或多个特征与连续目标变量之间的关系建模，即线性回归分析的主要目标是在连续尺度上预测输出，而非分类标签，即预测值为连续值。 线性回归学习目标 线性模型 一元线性回归和多元线性回归 多项式回归和对数线性回归 线性回归的L1正则化和L2正则化 线性回归流程 线性回归优缺点 线性回归引入   相信我们很多人可能都有去售楼处买房而无奈回家的行为，就算你没去过售楼处，相信你也应该听说过那令人叹而惊止的房价吧？对于高房价你没有想过这房价是怎么算出来的呢？难道就是房地产商拍拍脑门，北京的一概1000万，上海的一概800万，杭州的一概600万吗？看到这相信你应该有动力想要学好机器学习走向人生巅峰了。   其实仔细想想这房价大有来头，首先房价不可能只和地区有关，北京有1000万的房子，又会有800万

1. LR的直观表述 1.1 直观表述 　　今天我们来深入了解一个工业界应用最多，虽然思想简单但也遮挡不住它NB光芒的绽放的一个 分类 预测模型，它就是LR模型。 LR模型可以被认为就是一个被Sigmoid函数（logistic方程）所归一化后的线性回归模型 ！为啥这么说呢？我们来看一下它的假设函数的样子： 　　　　 首先来解释一下 的表示的是啥？它表示的就是将因变量预测成1（阳性）的概率，具体来说它所要表达的是在给定x条件下事件y发生的条件概率，而 是该条件概率的参数。看到这个公式可能一脸懵逼，那我们将它分解一下： 　　　　 很容易看出将（1）代入到（2）中是不是就得到了LR模型的假设函数啦。（1）式就是我们介绍的 线性回归的假设函数 ，那（2）式就是我们的Sigmoid函数啦。什么？为什么会用Sigmoid函数？因为它引入了非线性映射，将线性回归 值域映射到0-1之间，有助于直观的做出预测类型的判断：大于等于0.5表示阳性，小于0.5表示阴性。 其实，从本质来说：在分类情况下，经过学习后的LR分类器其实就是一组权值 ，当有测试样本输入时，这组权值与测试数据按照加权得到 　　 这里的 就是每个测试样本的n个特征值。之后在按照Sigmoid函数的形式求出 ，从而去判断每个测试样本所属的类别。 由此看见， LR模型学习最关键的问题就是研究如何求解这组权值！ 1.2 决策边界