自变量

来自百度 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。（这反过来又应当由多个相关的因变量预测的多元线性回归区别，[引文需要]，而不是一个单一的标量变量。） 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常 用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位 数作为X的线性函数表示。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。 线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其位置参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。

　　一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用logistic回归。 logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。 logistic回归的假设函数如下，线性回归假设函数只是 。 logistic回归用来分类0/1问题，也就是预测结果属于0或者1的二值分类问题。这里假设了二值满足伯努利分布，也就是 当然假设它满足泊松分布、指数分布等等也可以，只是比较复杂，后面会提到线性回归的一般形式。 求最大似然估计，然后求导，得到迭代公式结果为 可以看到与线性回归类似，只是 换成了 ，而 实际上就是 经过g(z)映射过来的。 Logistic 回归：实际上属于判别分析，因拥有很差的判别效率而不常用。 1． 应用范围： ① 适用于流行病学资料的危险因素分析 ② 实验室中药物的剂量 - 反应关系 ③ 临床试验评价 ④ 疾病的预后因素分析 2． Logistic 回归的分类： ① 按因变量的资料类型分： 二分类 多分类 其中二分较为常用 ② 按研究方法分： 条 件 Logistic 回归 非条件 Logistic 回归 两者针对的资料类型不一样，后者针对成组研究，前者针对配对或配伍研究。 3．L ogistic

多重共线性的概念：模型解释变量之间存在完全线性相关或不完全线性相关关系 产生的原因： （1）特征变量之间的内在联系 （2）特征变量在时间上有同方向变动的趋势 （3）某些变量的滞后 检验的方法： （1）相关性分析 （2） 方差膨胀因子 ​方差膨胀因子（Variance Inflation Factor，VIF）：容忍度的倒数，VIF越大，显示共线性越严重。经验判断方法表明：当0＜VIF＜10，不存在多重共线性；当10≤VIF＜100，存在较强的多重共线性；当VIF≥100，存在严重多重共线性 （3）条件系数检验 ​ 带来的影响： （1）ols估计量的方差增大 （2）难以区分每个解释变量的单独影响 解释变量之间的相关性，无法‘保证其它变量不变’ （3）变量的显著性检验失去意义 在多重共线性的影响下，系数估计标准差的增大将导致t统计量值的减小，是原来显著的t值变成不显著的，容易将重要的解释变量误认为是不显著的变量。 （4）回归模型缺乏稳定性 不同样本对模型的影响较大，若出现不合理的系数，首先考虑是否存在多重共线性 处理方法： （1）删除不重要的自变量 偏相关系数检验证实为共线性原因的那些变量中删除.。 （2）追加样本信息 多重共线性问题的实质是样本信息的不充分而导致模型参数的不能精确估计，因此追加样本信息是解决该问题的一条有效途径。 （3）利用非样本先验信息 （4）改变解释变量的心酸

多项式回归 研究一个或多个自变量与一个因变量间多项式的回归分析方法。如果一个自变量，为一元多项式回归。自变量为多个时，为多元多项式回归。多项式回归使用曲线拟合数据的输入与输出的映射关系。 实例，还是预测房价。 用sklearn.preprocessing.PolynomialFeatures函数。 数据跟上一篇的一样。 PolynomialFeatures这个函数的作用，是生成变量的各种组合形式，如a,b两个自变量，最高二次，可以生成1，a,b, ab, a^2, b^2。 再用这个多项式进行回归分析。结果为 注意不要用太高的次数，那样容易过拟合。 本文代码: https://github.com/zwdnet/MyQuant/blob/master/33 我发文章的四个地方，欢迎大家在朋友圈等地方分享，欢迎点“在看”。 我的个人博客地址： https://zwdnet.github.io 我的知乎文章地址： https://www.zhihu.com/people/zhao-you-min/posts 我的博客园博客地址： https://www.cnblogs.com/zwdnet/ 我的微信个人订阅号：赵瑜敏的口腔医学学习园地 来源： https://www.cnblogs.com/zwdnet/p/12402470.html

limit(F,x,a)计算当x→a时符号表达式F=F(x)的极限值; limit(F,a)用函数findsym(F)确定F中的自变量x，再计算当x→a时F=F(x)的极限值; limit(F)用函数findsym(F)确定F中的自变量x，再计算当x→0时F=F(x)的极限值; limit(F,x,a,'right')计算时F=F(x)的左极限; limit(F,x,a,'left')计算时F=F(x)的右极限; 举个例子： 比如要求当x趋向于5 时，表达式(2*x-10)/(x^3-125)的极限，matlab的程序如下： syms x; limit((2*x-10)/(x^3-125),5); ans=2/75 来源： https://www.cnblogs.com/WJ-0808/p/5753679.html

优化算法进阶 1.Momentum 目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收敛的结果。 g t = ∂ w 1 ∣ B t ∣ ∑ i ∈ B t f ( x i , w t − 1 ) = 1 ∣ B t ∣ ∑ i ∈ B t g i , t − 1 . \mathbf{g}_t = \partial_{\mathbf{w}} \frac{1}{|\mathcal{B}_t|} \sum_{i \in \mathcal{B}_t} f(\mathbf{x}_{i}, \mathbf{w}_{t-1}) = \frac{1}{|\mathcal{B}_t|} \sum_{i \in \mathcal{B}_t} \mathbf{g}_{i, t-1}. g t ​ = ∂ w ​ ∣ B t ​ ∣ 1 ​ i ∈ B t ​ ∑ ​ f ( x i ​ , w t − 1 ​ ) = ∣ B t ​ ∣ 1 ​ i ∈ B t ​ ∑ ​

变量、函数是Python语言的最基本单元，下面是我作为初学者的当前理解，随着学习的深入今后会做刷新。 变量：表示操作对象是谁。 变量的方法：表示能做什么事情。 如何设计变量：先分析需要解决的问题，基于解决问题的逻辑，来设计变量（ 这块还没深入，等能力提升后再总结 ）。 变量名称：要有清晰、规范的名称，便于一目了然地理解。 函数： 1.函数的参数是自变量，函数的输出结果(返回值)就是应变量。函数运行的结果用于做进一步的计算 2.函数自变量：可以是从函数外传递给自变量，也可以直接在函数内部赋值 3.根据功能来设置函数。功能包括：分流、判断条件、取数（ 暂时想到这几个 ） 来源： https://www.cnblogs.com/max-pro/p/12341770.html

0 - 引入 　　简单的梯度下降等优化算法存在一个问题：目标函数自变量的每一个元素在相同时间步都使用同一个学习率来迭代，如果存在如下图的情况（不同自变量的梯度值有较大差别时候），存在如下问题： 选择较小的学习率会使得梯度较大的自变量迭代过慢 选择较大的学习率会使得梯度较小的自变量迭代发散 　　因此，自然而然想到，要解决这一问题，不同自变量应该根据梯度的不同有不同的学习率。本篇介绍的几种优化算法都是基于这个思想的。 1 - AdaGrad算法 　　使用一个小批量随机梯度$g_t$按元素平方的累加变量$s_t$，在时间步0，AdaGrad将$s_0$中每个元素初始化为0，其更新公式为： $$s_t\leftarrow s_{t-1}+g_t\odot g_t$$ $$x_t\leftarrow x_{t-1}-\frac{\eta}{\sqrt{s_t+\epsilon}}\odot g_t$$ 　　其中$\odot$是按元素相乘，$\eta$是学习率，$\epsilon$是为了维持数值稳定性而添加的常数（如$10^{-6}$）。 2 - RMSProp算法 　　由于AdaGrad算法的机制，导致每个元素的学习率在迭代过程中只能降低或者不变，因此很可能出现早期迭代到不好的极值点之后，由于学习率太小而无法冲出这个极值点导致最后收敛到的解不优，为了解决这一问题

基础理论 bias-variance tradeoff（偏差和方差的权衡） 对于线性回归，目标方程式可以写作： 对y的估计可以写成： 就是对自变量和因变量之间的关系进行的估计。一般来说，我们无法得到自变量和因变量之间的真实关系f(x)。对其之间的关系进行假设，由于存在误差，所以无法得到真正的关系。 通常情况下会使用一组训练数据，使用某个算法进行学习，然后学得一个模型，这个模型使损失函数最小。 损失函数为： 由于模型需要有泛化能力，也就是说需要模型在所有数据上都表现的良好。假设具有全部的数据，将这些数据分成N组，将这N组数据在模型上进行测试，就会得到N个不同的损失函数，如果这些损失函数的平均值最小，也就是真实数值和估计数值之间的差的平方的期望值最小，那么该模型就是理想模型。 所以真实数值和估计数值之间的差的平方的期望值公式如下： bias（偏差） 偏差是指由于错误的假设导致的误差，比如说我们假设有一个自变量能影响因变量，但其实有三个；又比如我们假设自变量和因变量之间是县西宫关系，但其实是非线性关系。其描述的是期望估计值和真实规律之间的差异。 variance（方差） 方差是指通过N组训练数据学习拟合出来的结果之间的差异。其描述的是估计值与平局估计值之间差异平方的期望。 来源： CSDN 作者： song吖 链接： https://blog.csdn.net/qq_35382702

1、一元回归 一元线性回归分析、多元线性回归分析 【一元线性回归分析】 已经某变量取值，如果想要用它得到另一个变量的预测值 自变量或预测变量、因变量或标准变量 1. 目的：根据某自变量取值得到因变量的预测值 2. 所需数据： 因变量（连续变量）+自变量（连续变量、二分变量） 3. 假设条件： a. 观测值独立 b. 两个变量服从正态分布：总体中每一变量的取值都要服从正态分布，而且对某一变量的任意取值，另一变量的取值也应服从正态分布 c. 方差齐性：因变量的总体方差与自变量的方差相同的 4. 方程： Y=a+bX Y表示因变量的预测值（不是真实值），a表示的y轴的截距，b表示回归方程的斜率，X表示自变量的取值 5. 假设检验： 在原假设为真（b=0）的情况下，如果检验的结果不可能（p值小于等于0.05），则拒绝原假设，即回归系数不等于0； 如果检验的结果有可能（p值大于0.05），则接受原假设，即回归系数为0 练习： 这是一家超市连续3年的销售数据，包括月份，季度，广告费用，客流量，销售额5个变量，共36条记录，这里根据广告费用来预测销售额，当广告费用为20万时，销售额大概为多少。 数据：超市销售数据.sav。 6. 具体步骤： a. 导入数据 b. 分析数据：分析--回归--线性回归 c. 解释输出结果： 描述统计：给出常见统计量 相关性：两个变量的相关系数，当前的相关系数是0