Newton

一文通透优化算法：从随机梯度、随机梯度下降法到牛顿法、共轭梯度 1 什么是梯度下降法 经常在机器学习中的优化问题中看到一个算法，即梯度下降法，那到底什么是梯度下降法呢？ 维基百科给出的定义是梯度下降法（Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。 额，问题又来了，什么是梯度？为了避免各种复杂的说辞，咱们可以这样简单理解，在单变量的实值函数的情况，梯度就是导数，或者，对于一个线性函数，也就是线的斜率。 1.1 梯度下降法示例 举个形象的例子吧，比如当我们要 做一个房屋价值的评估系统， 那都有哪些因素决定或影响 房屋的价值 呢？ 比如说面积、 房子 的 大小 （几室几厅）、地段、朝向等等，这些影响房屋价值的变量被称为特征(feature)。在 这里 ，为了简单，我们 假定 房屋 只由 一个变量影响， 那 就是房屋的面积。 假设有一个房屋销售的数据如下： 面积(m^2) 销售价钱（万元） 123 250 150 320 87 160 102 220 … … 插句题外话，顺便吐下槽， 这 套房屋价格数据在五年前可能还能买到 帝都5环左右的

1.测试数据 #bank索引下account类型 POST /bank/account/_bulk {"index":{"_id":"1"}} {"account_number":1,"balance":39225,"firstname":"Amber","lastname":"Duke","age":32,"gender":"M","address":"880 Holmes Lane","employer":"Pyrami","email":"amberduke@pyrami.com","city":"Brogan","state":"IL"} {"index":{"_id":"6"}} {"account_number":6,"balance":5686,"firstname":"Hattie","lastname":"Bond","age":36,"gender":"M","address":"671 Bristol Street","employer":"Netagy","email":"hattiebond@netagy.com","city":"Dante","state":"TN"} {"index":{"_id":"13"}} {"account_number":13,"balance":32838,"firstname":"Nanette","lastname":

插值与拟合的概念 首先对两种说法进行阐明。 插值：做一条指定类型的曲线（如多项式），使其通过所有数据点。 拟合：做一条指定类型的曲线，使其在一定意义下逼近该组数据点。 两种概念的不同，可以看到，对于插值，很可能会出现对所有数据点都通过，但是并不一定很好的拟合真实数据的情况。 几种常见插值方法 下给定如下插值的数学语言表示： 代数多项式插值 Lagrange插值 Lagrange插值是一种线性插值，其具体定义如下： 上述定义含义，即Lagrange插值是构造一个线性多项式，使得通过所有的数据点。 此外，根据定义，Lagrange插值存在着缺陷：如果数据点增加，就需要重新计算插值基函数。 Newton插值 Lagrange插值存在的缺点，Newton插值借助差商来优化。 那么什么是差商呢？ 由差商概念，引出Newton插值公式为： 借用这种方式，即使节点增加，原计算结果仍有用，新节点的计算借助于原节点的差商结果。 Hermite插值 分段插值 由于Lagrange高次多项式插值存在Runge现象，这个会在后面说明。为了缓解这一问题，采用分段低次插值。 分段线性插值 分段线性插值的基本思想实际上是用一个低次分段函数来插值两个数据点。 分段抛物插值 分段三次Hermite保形插值 该方法有要求限定，即需要在分段点处连续可导。然后再每两个相邻数据点之间采用三次Hermite插值。

这篇文章是我之前一篇文章的兄弟篇，没看过的可以看下面这个。 邓康康：求解稀疏优化问题——半光滑牛顿方法 ​ zhuanlan.zhihu.com 我们考虑的问题仍然是如下的一般问题： 其中 ,并且 特别大； 表示一个凸可微函数，例如 表示一个闭真凸函数，一般为稀疏正则函数，比如 LASSO： ，Fused LASSO，Clustered LASSO等 通过引入变量 ，我们先把（P）转化为约束问题 于是我们得到（P）的对偶问题为： 在之前的那篇文章中，我提到了怎么利用增广拉格朗日方法（ALM）去求解对偶问题（D）,该方法中的子问题采用的是半光滑牛顿法。 主要idea大概分为三步： 将原问题转化为对偶问题 利用增广拉格朗日方法求解对偶问题 子问题采用半光滑牛顿法 主要代价在于半光滑牛顿法，而由于非光滑函数 的稀疏性，导致子问题中的Jacobian矩阵也是稀疏的，进而大大降低了该方法的计算量。本质上，这个方法是一个应用于对偶问题上的增广拉格朗日方法。这篇文章我们换个角度，从原始问题（P）出发去设计算法。 在我的另一篇文章中 邓康康：原始对偶角度下的几类优化方法 ​ zhuanlan.zhihu.com 里面讲到了： 对偶问题上的 临近点方法 等价于原问题上的 增广拉格朗日方法。 而对偶问题的对偶问题是原问题。所以我们是不是有， 原始问题上的 临近点方法 等价于对偶问题上的

这个可以算我最长的一片笔记。。因为大部分的文字描述都是和公式做法密切相关。这个方法就是通过2个CNN模型，一个预测图片patch所属模型的部分part的control point，另一个预测part中心的reprojection，然后利用雅可比行列式和 Using a single Gaussian Pose Prior 中介绍的公式来迭代得到使得模型预测的reprojection和control point中心距离最小的pose，然后在经过训练的线性回归分类器检测选出来最好的pose，并且每帧的pose都会作为下一帧的先验 使用CNN来估计2D图像中的关键点位置，而且不只是2D，这篇文章的输入要求是灰度图 Our key idea is to then predict the 3D pose of each part in the form of the 2D projections of a few control points. Even though part of the object is visible, it can predict the 3D pose very accurate. a depth sensor, which would fail on metallic objects or outdoor scenes we therefore propose

前情提要： 通俗地说逻辑回归【Logistic regression】算法（一） 逻辑回归模型原理介绍 上一篇主要介绍了逻辑回归中，相对理论化的知识，这次主要是对上篇做一点点补充，以及介绍sklearn 逻辑回归模型的参数，以及具体的实战代码。 1.逻辑回归的二分类和多分类 上次介绍的逻辑回归的内容，基本都是基于二分类的。那么有没有办法让逻辑回归实现多分类呢？那肯定是有的，还不止一种。 实际上二元逻辑回归的模型和损失函数很容易推广到多元 逻辑回归。比如总是认为某种类型为正值，其余为0值。 举个例子，要分类为A，B，C三类，那么就可以把A当作正向数据，B和C当作负向数据来处理，这样就可以用二分类的方法解决多分类的问题，这种方法就是最常用的one-vs-rest，简称OvR。而且这种方法也可以方便得推广到其他二分类模型中（当然其他算法可能有更好的多分类办法）。 另一种多元逻辑回归的方法是Many-vs-Many(MvM)，它会选择一部分类别的样本和另一部分类别的样本来做逻辑回归二分类。 听起来很不可思议，但其实确实是能办到的。比如数据有A，B，C三个分类。 我们将A，B作为正向数据，C作为负向数据，训练出一个分模型。再将A，C作为正向数据，B作为负向数据，训练出一个分类模型。最后B，C作为正向数据，C作为负向数据，训练出一个模型。 通过这三个模型就能实现多分类，当然这里只是举个例子

一、 凸集的定义为： 　　 　　其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示： 　　 　　常见的凸集有： 　　n维实数空间；一些范数约束形式的集合；仿射子空间；凸集的交集；n维半正定矩阵集；这些都可以通过凸集的定义去证明。 二、 凸函数的定义为： 　　 　　其几何意义表示为函数任意两点连线上的值大于对应自变量处的函数值，示意图如下： 　　 　　凸函数的一阶充要条件为： 　　 　　其中要求f一阶可微。 　　二阶充要条件为： 　　 　　其中要求f二阶可微，表示二阶导数需大于0才是凸函数。 按照上面的两个定义，如果f(x)=x^2肯定是凸函数，而g(x) = -x^2是非凸函数。也就是说开口向下的函数是非凸函数，但是对于这种情况可以通过添加负号变成凸函数，从而求解。 　　常见的凸函数有：指数函数族；非负对数函数；仿射函数；二次函数；常见的范数函数；凸函数非负加权的和等。这些可以采用上面2个充要条件或者定义去证明。 　　 凸优化问题（OPT）的定义为： 　　 　　即要求目标函数是凸函数，变量所属集合是凸集合的优化问题。或者目标函数是凸函数，变量的约束函数是凸函数（不等式约束时），或者是仿射函数（等式约束时）。 　　对于凸优化问题来说，局部最优解就是全局最优解。 三、常见的凸优化问题包括： 　　线性规划（LP）：该问题是优化下面的式子： 　　

贝叶斯推断之最大后验概率(MAP) 本文详细记录贝叶斯后验概率分布的数学原理，基于贝叶斯后验概率实现一个二分类问题，谈谈我对贝叶斯推断的理解。 1. 二分类问题 给定N个样本的数据集，用 \(X\) 来表示，每个样本 \(x_n\) 有两个属性，最终属于某个分类 \(t\) $t=\left\{0,1\right\}$ $\mathbf{x_n}=\begin{pmatrix}x_{n1} \\ x_{n2} \\ \end{pmatrix}$， 假设模型参数$w=\begin{pmatrix} w_1 \\ w_2\end{pmatrix}$ $\mathbf{X}=\begin{bmatrix} x_1^T \\ x_2^T \\. \\. \\ x_n^T\end{bmatrix}$ 将样本集用用图画出来如下： 根据贝叶斯公式有： \[p(w|t,X)=\frac {p(t|X,w)p(w)} {p(t|X)} \] (公式1) \(p(w | t,X)\) 告诉我们：在已知训练样本集 \(X\) 以及这些样本的某个分类 \(t\) (这是一个监督学习，因为我们已经有了样本集 \(X\) 、以及样本集中每个样本所属的分类 \(t\) )，需要求解模型参数 \(w\) 。因此， \(w\) 是未知的，是需要根据样本通过贝叶斯概率公式来进行求解的。求得了 \(p(w|t,X)\)

【 dbForge Studio for SQL Server下载 】 创建查询： 1.创建服务器连接。有关如何创建服务器连接的详细信息，请参阅如何：连接到数据库。 2.在“开始” 页上单击“ SQL开发” ，然后单击“ SQL编辑器” 。或者，单击新建SQL 上的标准工具栏或按CTRL + N; 。将打开一个空SQL文档。 3.键入对数据库的查询。 4.单击“ 执行” 或按CTRL + F5 以查看查询结果。 dbForge Studio SQL编辑器提供了许多功能，使您可以更轻松地编写和管理代码。让我们探索一些在编码时帮助您的Intellisense功能吧。 编码技术示例： 为了向您展示一些dbForge Studio Intellisense功能，我们执行一个查询，我们需要显示在Newton城市注册的AdventureWorks2012数据库中的所有员工地址。 1.打开SQL编辑器。 2.开始输入select语句。输入前三个字母“sel”。dbForge Studio显示相关关键字和代码段的列表。您可以从列表中选择SELECT 关键字，然后按ENTER键。关键字出现在SQL编辑器中。 您还可以使用select语句片段。输入“ ssf ”字母，然后按TAB 键。在这种情况下，SELECT * FROM 语句出现在SQL编辑器中。 3.指定要从中检索数据的表