自变量

1. 回归分析 1.1. 一元线性回归 一元线性回归可以用来分析一个自变量和因变量之间的关系，通过分散的样本点来得到自变量和因变量之间的线性关系，通过最小二乘法来获得线性回归的系数，计算之后要对获得的回归方程进行检验。 P19 例2.1.1: import numpy as np from matplotlib import pyplot as plt from sklearn . linear_model import LinearRegression def linear_regression ( x , y ) : plt . figure ( ) plt . scatter ( x , y , alpha = 0.5 ) plt . title ( 'weight(y) and temperature(x)' ) plt . xlabel ( 'temperature' ) plt . ylabel ( 'weight' ) lrModel = LinearRegression ( ) # 求解模型 lrModel . fit ( x , y ) # 对x进行预测 y0 = lrModel . predict ( x ) plt . plot ( x , y0 ) plt . show ( ) alpha = lrModel . coef_ # 获得斜率 beta =

约翰麦卡锡于1960年发表了一篇非凡的论文,他在这篇论文中对编程的贡献有如欧几里德对几何的贡献. 1 他向我们展示了,在只给定几个简单的操作符和一个表示函数的记号的基础上, 如何构造出一个完整的编程语言. 麦卡锡称这种语言为Lisp, 意为List Processing, 因为他的主要思想之一是用一种简单的数据结构表(list)来代表代码和数据. 值得注意的是,麦卡锡所作的发现,不仅是计算机史上划时代的大事, 而且是一种在我们这个时代编程越来越趋向的模式.我认为目前为止只有两种真正干净利落, 始终如一的编程模式:C语言模式和Lisp语言模式.此二者就象两座高地, 在它们中间是尤如沼泽的低地.随着计算机变得越来越强大,新开发的语言一直在坚定地趋向于Lisp模式. 二十年来,开发新编程语言的一个流行的秘决是,取C语言的计算模式,逐渐地往上加Lisp模式的特性,例如运行时类型和无用单元收集. 在这篇文章中我尽可能用最简单的术语来解释约翰麦卡锡所做的发现. 关键是我们不仅要学习某个人四十年前得出的有趣理论结果, 而且展示编程语言的发展方向. Lisp的不同寻常之处--也就是它优质的定义--是它能够自己来编写自己. 为了理解约翰麦卡锡所表述的这个特点,我们将追溯他的步伐,并将他的数学标记转换成能够运行的Common Lisp代码. 七个原始操作符 开始我们先定义 表达式 .表达式或是一个

张老师一直强调AutoCAD的开发有3种接口，vba,lisp,objectarx。objectarx功能强大，但学起来比较难。而vba和lisp就相对简单了。而且到时候用objectarx作出来的程序可以轻易调用lisp，所以只要做好lisp的话，也是可以最后汇总到我们的程序里面的。他希望项目组的其它同学能够使用Visual Lisp，参与到项目的开发中。于是我特地在网上百度了一下，收集整理了一些关于Lisp的信息。信息主要来源于百度百科的数个网页。 LISP的历史 LISP（全名LIST Processor，即链表处理语言），由约翰·麦卡锡在1960年左右创造的一种基于 λ演算 的函数式编程语言。 Lisp 代表 LISt Processing，即表处理，这种编程语言用来处理由括号（即“(”和“)”）构成的列表。约翰麦卡锡于1960年发表了一篇非凡的论文,他在这篇论文中对编程的贡献有如欧几里德对几何的贡献.[1] 他向我们展示了,在只给定几个简单的操作符和一个表示函数的记号的基础上, 如何构造出一个完整的编程语言. 麦卡锡称这种语言为Lisp, 意为List Processing, 因为他的主要思想之一是用一种简单的数据结构表(list)来代表代码和数据. 值得注意的是,麦卡锡所作的发现,不仅是计算机史上划时代的大事, 而且是一种在我们这个时代编程越来越趋向的模式

第七节： 机器学习中第一个算法：回归算法 亮点： 1.因变量和自变量之间的关系实现数据的预测。 2.不同自变量对因变量影响的强度。（不就是k嘛） for example ：对房价估计时，需要确定房屋面积（自变量）与其价格（因变量）之间的关系，可以利用这一关系来预测给定面积的房屋的价格。 可以有多个影响因变量的自变量。 一、线性回归 其中，X=(x1,​x2,…,xn) 为 n 个输入变量，W=(w1,w2,…,wn) 为线性系数，b 是偏置项。目标是找到系数 W 的最佳估计，使得预测值 Y 的误差最小。 亮点： 1.W很重要，要W最佳，使得误差最小。 2.最小二乘法，可以使得W最佳。即使预测值 (Yhat) 与观测值 (Y) 之间的差的平方和最小。 3.还有个b偏置 因此，这里尽量最小化损失函数： 根据输入变量 X 的数量和类型，可划分出多种线性回归类型： 简单线性回归（一个输入变量，一个输出变量），多元线性回归（多个输入变量，一个输出变量），多变量线性回归（多个输入变量，多个输出变量）。 二、逻辑回归 ：用来确定一个事件的概率。通常来说，事件可被表示为类别因变量。事件的概率用 logit 函数（Sigmoid 函数）表示： 现在的目标是估计权重 W=(w1,w2,…,wn) 和偏置项 b。在逻辑回归中，使用最大似然估计量或随机梯度下降来估计系数。损失函数通常被定义为交叉熵项：

最小二乘法是机器学习中的基础知识点，一致对最小二乘法的理解不够深入，今天就花点时间来深入理解和探讨一下最小二乘法 最小二乘法，又称最小平方法，基本公式通俗来讲，二者先取个差值，在来个平方，最后搞一个和号上去，这就是最小二乘问题的思想，下面介绍下 最小二乘法 我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面... 对于一元线性回归模型, 假设从总体中获取了n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择： （1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。 （2）用

1.1 通俗的理解: 　　统计学讲回归 就是一堆数据画到一个画像上,实际上有一个真实图像 但是你从数据得到的图像和真实的图像不一致，通过数据越来越多，图像就回到了真实的图像了，这就是回归。 　　 通过观察使得认知接近真值的过程---回归本源 　　在我们 认知 （ 测量 ）这个世界的时候，我们并不能得到这个世界的 全部信息 （ 真值 ），只能得到这个世界展现出的可被我们观测的 部分信息 。那么，如果我们想得到世界的真值，就只能通过尽可能多的信息，从而使得我们的认识，无限 接近 ( 回归 )真值。 　　其中，真值的概念是一个抽象的概念（感觉是从统计学中给出的）。真值是真实存在于这个世界的，但是却又永远无法真正得到。因为，无论是受限于我们自身的认知水平，还是测量手段，都会存在偏差，导致无法得到真值。就 像海森堡测不准原理一样，永远不可能知道一个确定的真值。再说的扯一点，真值就是我们中国人常说的道。 1.2 回归的定义 　　回归，指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的 统计分析方法 ，又称多重回归分析。通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。 1.3 回归分析(Regression analysis) 　　分析自变量与因变量之间定量的因果关系，并用回归方程来表示。 　　结合1.1所说的回归的含义

小结： （1）时间序列和回归分析的 核心区别 在于对 数据的假设 ：回归分析假设每个样本数据点都是 独立 的；而时间序列则是利用数据之间的 相关性 进行预测。如：时间序列分析中一个基础模型就是AR(Auto-Regressive)模型，它利用过去的数据点来预测未来。 （2）虽然AR模型（自回归模型）和线性回归看上去有很大的相似性。但由于 缺失了独立性 ，利用线性回归求解的AR模型参数会是 有偏的 。但又由于这个 解是一致的 ，所以在实际运用中还是利用线性回归来 近似 AR模型。 （3） 忽视或假设数据的独立性很可能会造成模型的失效 。金融市场的预测的建模尤其需要注意这一点。 　　本文会先说明两者对数据的具体假设差异，再说明AR模型（Autoregressive model 自回模型）为什么虽然看上去像回归分析，但还是有差别，最后也提到一个常见的混淆两者后在金融方向可能出现的问题。 一、回归分析对数据的假设：独立性 在回归分析中，我们假设数据是 相互独立 的。这种独立性体现在两个方面：一方面，自变量(X)是固定的，已被观测到的值，另一方面，每个因变量(y)的误差项是独立同分布，对于线性回归模型来说，误差项是独立同分布的正态分布，并且满足均值为0，方差恒定。 这种数据的独立性的具体表现就是：在回归分析中， 数据顺序可以任意交换 。在建模的时候，你可以随机选取数据循序进行模型训练

一. 熵的定义： 原始熵的定义：克劳修斯(T.Clausius) 于1854年提出熵(entropie)的概念, 我国物理学家胡刚复教授于1923年根据热温商之意首次把entropie译为“熵”。熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。统计热力学: 熵的大小与体系的微观状态Ω有关，即S=klnΩ，其中k为玻尔兹曼常量，k=1.3807x10 -23J·K -1。体系微观状态Ω是 大量质点的体系经统计规律而得到的热力学概率 ，因此熵有统计意义，对只有几个、几十或几百分子的体系就无所谓熵。 　　信息熵：1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。 　　离散信号的信息熵：信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E）

第一章 函数 1、实数 ​ 众所周知，数的概念充满了我们的生活空间。整数、分数和零统称为有理数。无理数在初等数学中已遇见过。如 \(\sqrt2\) 、 \(\sqrt3\) 、 \(π\) 、 \(lg5\) 等等。 ​ 一切有理数和无理数统称为实数。实数与数轴身上的点一一对应，而且充满数轴并没有空隙。由此可知，数轴上的每一个点的坐标标识某一个实数；反之，每一个实数必是数轴上某一点的坐标。 2、区间 ​ 在某些问题的讨论中，我们往往限制在一部分实数范围内考虑，为了简明地表明部分实数，这里引进区间概念。 定义：区间是介于某两个实数之间的全体实数，并称这两个实数为区间的断点。 ​ 区间又分为有限区间和无限区间两大类。 1、有限区间 （1）、开区间 ​ 设a、b为两个实数，且 \(a < b\) ,满足不等式 \(a < x < b\) 的一切实数x的全体叫做开区间，记做 \((a,b)\) . （2）、闭区间 ​ 设a、b为两个实数，且 \(a < b\) ,满足不等式 \(a ≤ x ≤ b\) 的一切实数的全体叫做闭区间，记做 \([ a,b ]\) . （3）、半开区间 ​ 设a、b为两个实数，且 \(a < b\) ，满足不等式 \(a < x ≤ b\) 或 \(a ≤ x < b\) 的一切实数x的全体叫做半开区间，分别记做 \(( a,b ]\) 和 \([ a,b)\

逻辑回归模型 - zgw21cn - 博客园 逻辑回归模型 1. 逻辑 回 归 模型 1.1逻辑回归模型 考虑具有p个独立变量的向量 ,设条件概率 为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为 （1.1） 上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。 其中 。如果含有名义变量，则将其变为dummy变量。一个具有k个取值的名义变量，将变为k-1个dummy变量。这样，有 （1.2） 定义不发生事件的条件概率为 （1.3） 那么，事件发生与事件不发生的概率之比为 （1.4） 这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。因为0<p<1,故odds>0。对odds取对数，即得到线性函数， （1.5） 1.2极大似然函数 假设有n个观测样本，观测值分别为 设 为给定条件下得到 的概率。在同样条件下得到 的条件概率为 。于是，得到一个观测值的概率为 （1.6） 因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。 （1.7） 上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数 ，使上式取得最大值。 对上述函数求对数 （1.8） 上式称为对数似然函数。为了估计能使 取得最大的参数 的值。 对此函数求导，得到p+1个似然方程