线性回归

一、线性回归 1.线性回归的数学假设：假设输入的x和y是线性关系，输入的x和y满足 ，其中e为误差，满足均值为0，方差为某一确定值的正太分布 2.线性回归的建模： 3.损失函数：简单的损失函数可以选择为平方损失 二、Softmax 对于神经网络中，直接使用输出层的输出有两个问题： 一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=103o1=o3=103，那么输出值10却又表示图像类别为猫的概率很低。 另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。 因此，softmax将输出值归一化为0到1的概率值： 三、交叉熵 训练目标可以设为预测概率分布 尽可能接近真实的 . 由于我们其实并不需要预测概率完全等于标签概率，而平方损失则过于严格为了改进这个问题是使用更适合衡量两个概率分布差异的测量函数。其中，交叉熵（cross entropy）是一个常用的衡量方法： 交叉熵只关心对正确类别的预测概率，因为只要其值足够大，就可以确保分类结果正确。当然，遇到一个样本有多个标签时，例如图像里含有不止一个物体时，我们并不能做这一步简化。但即便对于这种情况，交叉熵同样只关心对图像中出现的物体类别的预测概率。

前言 由于新冠病毒的影响，只能窝在家中自我关禁闭，因此参加了深度学习公益训练营的活动，结合《动手学深度学习》这本书，对深度学习进行系统性的学习与实践，感到获益良多。 一、线性回归 回归问题通常对连续值进行预测，而分类问题通常对离散的值进行预测。线性回归输出是⼀个连续值，因此适⽤于回归问题。回归问题在实际中很常⻅，如预测房屋价格、⽓温、销售额等连续值的问题；分类问题包括图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题。 模型 这里以房价预测为例，假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。线性回归假设输出与各个输入之间是线性关系，考虑通过房屋的面积Area与房龄Age来预测房价Price，其中w和b为未知的模型参数，即需要学习的参数。 数据集 我们通常收集一系列的真实数据作为数据集，例如多栋房屋的真实售出价格和它们对应的面积和房龄。目标是在这个数据的基础上训练模型参数使模型的预测价格与真实价格的误差最小。其中数据集被称为训练 数据集（training data set） 或 训练集（training set） ，一栋房屋被称为一个 样本（sample） ，其真实售出价格叫作 标签（label） ，用来预测标签的两个因素叫作 特征（feature） 。特征用来表征样本的特点。 损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差

ElitesAI·动手学深度学习PyTorch版 Task01 线性回归¶ 主要内容包括： 线性回归的基本要素 线性回归模型从零开始的实现 线性回归模型使用pytorch的简洁实现 线性回归假设输出与各个输入之间是线性关系: price=warea⋅area+wage⋅age+b 优化函数 - 随机梯度下降 总结一下，优化函数的有以下两个步骤： (i)初始化模型参数，一般来说使用随机初始化； (ii)我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数 课后作业： 1、假如你正在实现一个全连接层，全连接层的输入形状是7 \times 87×8，输出形状是7 \times 17×1，其中7是批量大小，则权重参数ww和偏置参数bb的形状分别是__8 1__和__1 1__ 解析：设输入批量为X \in \mathbb{R}^{7 \times 8}X∈R 7×8 ，对应的输出为Y \in \mathbb{R}^{7 \times 1}Y∈R 7×1 ，令权重参数为w \in \mathbb{R}^{8 \times 1}w∈R 8×1 ，则Xw \in \mathbb{R}^{7 \times 1}Xw∈R 7×1 ，然后我们给XwXw中的每个元素加上的偏置是一样的，所以偏置参数b \in \mathbb{R} ^{1 \times 1}b∈R 1×1 ，基于加法的广播机制

文章目录 第一节 废话 第二节 先把其它教程忘记 第三节 补充一点 总结 第一节 废话 很多人看到专业术语就龟缩，可是当你在学习一段时间后。。。 回头来看，发现没有什么比这个专业术语更加合适的字了。 所以坚持看完这一系列文章，你会发现新世界。 ————作者给萌新说 其实所谓人工智能，就是 机器学习 的好听名字，什么深度学习，神经网络。。。都是一回事，就是跟电脑说：“兄弟，你帮我学习吧，然后我需要的时候用你一下，好吗？” 如果你功夫够深，这位仁兄会很乖巧的说，“好说好说！”。如果你菜鸡，那么他只会给你一个字，“滚！” 那么，机器学习，从哪开始？哪才是他的’hello world’？？？ 回答：“ 线性回归！ ”。 但是注意，这个并非真正意义上的’hello world’ ，因为他并不具备商业价值，啥是？第二集会告诉你。 第二节 先把其它教程忘记 先把其他教程忘记，看完我这篇，然后再回头看其他教程。 你会发现，原来从这个角度进入，很酸爽！ ————作者给萌新说 如果一个东西，一个事物，它有点规律，随着某项特征变化，跟随变化，那么我们就可以说它是线性（装逼术语，不要在意）。 例如， 去菜市场买菜，买的菜越多，花的钱也越多（废话）。 那回家的时候，你也许会想，“这么多菜，今天买菜花了多少钱？” 你的脑子会说“几十块把”。 但是如果你只买了颗白菜，你也许会马上回答：“几块钱”

新人一枚，以前没接触过深度学习这方面的，只有一个笼统概念， 第一章线性回归， 吴恩达老师的机器学习课程，介绍的第一个模型就是线性回归模型。机器学习（尤其是监督学习），主要围绕分类和回归两类问题展开，而线性回归模型作为最简单的回归模型，与大多数监督学习算法具有相同的建模思路，包括建立损失函数、优化参数、模型评估。可谓麻雀虽小五脏俱全，了解线性回归的建模思想能够有助于理解复杂的深度学习模型。 一个简单的线性回归： import numpy as np from numpy import random import matplotlib.pyplot as plt X = random.uniform(0, 30, 100) # 随机生成在[0,30]区间内服从均匀分布的100个数 y = 1.85 * X + random.normal(2, 5, 100) # 对X乘以固定系数后加上随机扰动 plt.scatter(X, y) plt.xlabel(‘X’) plt.ylabel(‘y’) plt.show() 来源： CSDN 作者： qq_40338817 链接： https://blog.csdn.net/qq_40338817/article/details/104316648

前言 记《动手学深度学习》组队学习第一次打卡。 打卡内容 线性回归 线性回归 线性回归输出是一个 连续值 ，因此适用于 回归问题 。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同， 分类问题 中模型的最终输出是一个 离散值 。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。Softmax回归则适用于分类问题。 1. 线性回归的 基本要素 我们以一个简单的房屋价格预测作为例子来解释线性回归的基本要素。这个应用的目标是预测一栋房子的售出价格（元）。我们知道这个价格取决于很多因素，如房屋状况、地段、市场行情等。为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。 ① 模型 设房屋的面积为 x 1 x_1 x 1 ​ ，房龄为 x 2 x_2 x 2 ​ ，售出价格为 y y y 。我们需要建立基于输入 x 1 x_1 x 1 ​ 和 x 2 x_2 x 2 ​ 来计算输出 y y y 的表达式，也就是模型（model）。顾名思义，线性回归假设输出与各个输入之间是线性关系： y ^ = x 1 w 1 + x 2 w 2 + b \hat y=x_1w_1+x_2w_2+b y ^ ​ = x 1 ​ w 1 ​ + x 2 ​ w 2

线性回归 主要内容包括： 1、线性回归的基本要素 2、线性回归模型从零开始的实现 3、线性回归模型使用pytorch的简洁实现 线性回归的基本要素 1、模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。 2、数据集 我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。 3、损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 4、优化函数 - 随机梯度下降 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical

线性回归的基本要素 模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系: price=warea⋅area+wage⋅age+b price=warea⋅area+wage⋅age+b 数据集 我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。 损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为 ii 的样本误差的表达式为 l(i)(w,b)=12(y^(i)−y(i))2, l(i)(w,b)=12(y^(i)−y(i))2, L(w,b)=1n∑i=1nl(i)(w,b)=1n∑i=1n12(w⊤x(i)+b−y(i))2. L(w,b)=1n∑i=1nl(i)(w,b

这篇记录的内容来自于Andrew Ng教授在coursera网站上的授课。 1.多元线性回归(multivariate linear regression)： h函数：$h_{\theta}{(x)}=\theta_{0}+\sum_{i=1}^{n}{\theta_{i}x_{i}}$ 为方便起见，每个样本的维度都设为n+1维，每一维都向后延一位，第一维是1。 则$$h_{\theta}{(x)}=\sum_{i=0}^{n}{\theta_{i}x_{i}}$$ $$h_{\theta}{(x)}={\theta}^{T}x$$ J函数为平方误差函数。 最小化$\frac{1}{2m}\sum_{i=1}^{m}{(h_{\theta}(x^{(i)}-y^{(i)})^2}$。 多元线性回归的梯度下降法： $\theta_{i}:=\theta_{i}-\alpha\frac{1}{m}\sum_{j=1}^{m}{(h_{\theta}(x^{(j)}-y^{(j)})}x^{(j)}_{i}$ 来源： https://www.cnblogs.com/GreenDuck/p/12310579.html

书籍链接： http://tangshusen.me/Dive-into-DL-PyTorch/#/ 一、线性回归 对于「线性模型」的内容，那我们就来看看「西瓜书」「统计学习方法」「ESL」「PRML」这几本书大概是怎么来讲解这部分内容的。 （1）「西瓜书」 「西瓜书」在第三章中展开了对「线性模型」的讨论，首先是介绍了线性模型「基本形式」，无论是线性回归还是线性分类，都是基于这个基本的线性模型的形式而来。 然后，「西瓜书」介绍了在「基本形式」的基础上，如何来构建「一元线性回归」问题的目标函数，其中的关键点在于如何衡量模型输出的预测值y_hat与数据真实的真实label值y的差距。这里「西瓜书」默认使用了均方误差的距离估计指标，但是我们要知道这并不是唯一的选择。在构建好「一元线性回归」的目标函数后，我们就可以来尝试进行求解了。我们的目标是找到对应的w 和b 使得我们minE()的目标实现，而这里介绍了一种解析解的求法，也就是最小二乘法。 在介绍完一元的情况后，「西瓜书」开始介绍多元的情景，这里值得注意的是（3.10）与（3.11）之间的那个XTX的满秩假设或者正定假设通常是不成立的，因此实际上我们需要在这个地方加入正则化方法，这种方法在我们面对最优化问题的时候也非常常用。 接着，「西瓜书」开始讲解「线性分类」模型。也就是所谓的对数几率回归（log odds）