线性回归

一、线性回归 主要内容包括： 线性回归的基本要素 线性回归模型从零开始的实现 线性回归模型使用pytorch的简洁实现 线性回归的基本要素 模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系: price=warea⋅area+wage⋅age+bprice=warea⋅area+wage⋅age+b 数据集 我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。 损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为 ii 的样本误差的表达式为 l(i)(w,b)=12(y^(i)−y(i))2,l(i)(w,b)=12(y^(i)−y(i))2, L(w,b)=1n∑i=1nl

Task 01 Section 1 线性回归 主要内容 线性回归的基本要素 线性回归模型从零开始的实现 线性回归模型使用pytorch的简洁实现 1. 线性回归的基本要素 模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系: p r i c e = w a r e a ⋅ a r e a + w a g e ⋅ a g e + b price=w_{area}⋅area+w_{age}⋅age+b p r i c e = w a r e a ​ ⋅ a r e a + w a g e ​ ⋅ a g e + b 数据集 我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为 训练数据集（training data set） 或 训练集（training set） ，一栋房屋被称为一个 样本（sample） ，其真实售出价格叫作 标签（label） ，用来预测标签的两个因素叫作 特征（feature） 。特征用来表征样本的特点。 损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差

1 线性回归模型简介 线性回归是能够用一个直线较为精确地描述数据与数据之间的关系。线性回归中最常见的就是房价的问题。下面通过房价的例子理解线性回归的 基本要素 模型 我们假设价格只取决于房屋状况的两个因素：面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系: 价格 = W_area 面积 + W_age 房龄 + b 数据集 房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。 损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 优化函数 - 随机梯度下降 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解

TASK01 一、线性回归 线性回归的基本要素包括模型，数据集，损失函数，优化函数。使用pytorch实现线性回归：1，生成数据集；2，读取数据集；3，定义模型；4，初始化模型参数；5，定义损失函数；6，定义优化函数；7，训练模型。 二、softmax回归 softmax将输出值变换成值为正且和为1的概率分布 三、多层感知机 MLP利用非线性函数(例如ReLU，sigmoid，tanh)对隐层的输出进行变换，再输入下一层。 TASK02 一、文本预处理 文本预处理的步骤包括：1，读入文本；2，分词；3，建立字典，将每个词映射到一个唯一的索引（index）；4，将文本从词的序列转换为索引的序列，方便输入模型。 二、语言模型 三、循环神经网络 来源： CSDN 作者： qq_39354864 链接： https://blog.csdn.net/qq_39354864/article/details/104319546

一、线性回归 主要内容： 1.线性回归的解释 2.线性回归模型的基本要素 3.线性回归模型的两种实现方式 1.线性回归的解释 线性回归，就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值。线性回归中最常见的就是房价的问题。一直存在很多房屋面积和房价的数据，如下图所示： 在这种情况下，就可以利用线性回归构造出一条直线来近似地描述放假与房屋面积之间的关系，从而就可以根据房屋面积推测出房价。 线性回归输出是一个连续值，因此适用于回归问题 。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。 由于 线性回归和softmax回归都是单层神经网络 ，它们涉及的概念和技术同样适用于大多数的深度学习模型。 2.线性回归模型的基本要素 2.1 模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系: 2.2 模型训练 接下来我们需要通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小。这个过程叫作模型训练（model

一、线性回归基本要素 1、模型线性回归假设输出与各个输入之间是线性关系， 例如： price=warea​⋅area+wage​⋅age+b 2、训练数据集（training data set）或训练集（training set）：收集的真实数据，在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。3、 损失函数模型训练中，通常采用平方误差函数衡量价格预测值与真实值之间的误差。数值越小表示误差越小。 表达式为 4、优化函数-随机梯度下降 先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量 其中 为学习率，即学习步长的大小 为批量大小 优化模型有两个步骤： （1）初始化模型参数 （2）在数据上多次迭代，通过在负梯度方向来更新模型参数pytorch的一些使用: 1、torch.ones(n):创建n维1张量 2、torch.zeros(n)：创建n维0张量

经过这三天的学习，让我了解到初入机器学习的难度，同时也让我明白了怎么去学习好机器学习这块内容， 想要入门机器学习，数学的基础知识是十分有必要的，对于机器学习来说，就是把现实世界中的情况转化为高维 空间的向量，例如对于声音的模拟，我们就要从响度、音调、频率、音色、乐音等元素进行组合，才能发出我们 想要的不同声音。而线性代数恰恰就可以把这种不同元素组成的数据转化为数学上的高维空间向量。这里可以附 上(https://blog.csdn.net/qq89127678/article/details/71036240?locationNum=2&fps=1)这个链接，号称学完这些 线性代数公式就可以满足机器学习了。下面就列举一些常用数学的知识： 线性回归 ** 主要内容包括： 线性回归的基本要素 线性回归模型从零开始的实现 线性回归输出是一个连续值，因此适用于回归问题。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。与回归问题不同，分类问题中模型的最终输出是一个离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。 由于线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模型。我们首先以线性回归为例，介绍大多数深度学习模型的基本要素和表示方法。

1.线性回归 线性回归是回归问题中的一种，假设目标值与特征之间线性相关，即满足一个多元一次方程。通过构建损失函数，来求解损失函数最小时的参数w和b。公式： y^为预测值，自变量x和因变量y是已知的，而我们想实现的是预测新增一个x，其对应的y是多少。因此，为了构建这个函数关系，目标是通过已知数据点，求解线性模型中w和b两个参数。 目标/损失函数 针对任何模型求解问题，都是最终都是可以得到一组预测值y^ ，对比已有的真实值 y ，数据行数为 n ，可以将损失函数定义如下 即预测值与真实值之间的平均的平方距离，统计中一般称其为MAE(mean square error)均方误差。把之前的函数式代入损失函数，并且将需要求解的参数w和b看做是函数L的自变量，可得 现在的任务是求解最小化L时w和b的值， 即核心目标优化式为 求解方式有两种： 1）最小二乘法(least square method) 求解 w 和 b 是使损失函数最小化的过程，在统计中，称为线性回归模型的最小二乘“参数估计”(parameter estimation)。我们可以将 L(w,b) 分别对 w 和 b 求导，得到 令上述两式为0，可得到 w 和 b 最优解的闭式(closed-form)解： 梯度下降(gradient descent) 梯度下降核心内容是对自变量进行不断的更新（针对w和b求偏导）

线性回归的基本要素 模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系: p r i c e = w a r e a ⋅ a r e a + w a g e ⋅ a g e + b \mathrm{price} = w_{\mathrm{area}} \cdot \mathrm{area} + w_{\mathrm{age}} \cdot \mathrm{age} + b p r i c e = w a r e a ​ ⋅ a r e a + w a g e ​ ⋅ a g e + b 数据集 我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。我们希望在这个数据上面寻找模型参数来使模型的预测价格与真实价格的误差最小。在机器学习术语里，该数据集被称为训练数据集（training data set）或训练集（training set），一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。特征用来表征样本的特点。 损失函数 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小

完全无基础。暂作笔记。 1.基本概念 制作基础模型 收集真实数据集：寻找模型参数 损失函数：衡量预测值与真实值之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。 两种损失函数介绍的简书 https://www.jianshu.com/p/b715888f079b https://www.jianshu.com/p/b715888f079b 优化函数：无法使用损失函数评估（解析解），采用优化函数减少损失（数值解） 小批量随机梯度下降（mini-batch stochastic gradient descent） 先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。 2.实现 线性回归模型从零开始的实现 线性回归模型使用pytorch的简洁实现 softmax和分类模型： softmax回归的基本概念 如何获取Fashion-MNIST数据集和读取数据 softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型