特征函数

10.1 决定下一步做什么 　　到目前为止，我们已经介绍了许多不同的学习算法，如果你一直跟着这些视频的进度学习，你会发现自己已经不知不觉地成为一个了解许多先进机器学习技术的专家了。 　　然而，在懂机器学习的人当中依然存在着很大的差距，一部分人确实掌握了怎样高效有力地运用这些学习算法。而另一些人他们可能对我马上要讲的东西，就不是那么熟悉了。他们可能没有完全理解怎样运用这些算法。因此总是把时间浪费在毫无意义的尝试上。我想做的是确保你在设计机器学习的系统时，你能够明白怎样选择一条最合适、最正确的道路。因此，在这节视频和之后的几段视频中，我将向你介绍一些实用的建议和指导，帮助你明白怎样进行选择。具体来讲，我将重点关注的问题是假如你在开发一个机器学习系统，或者想试着改进一个机器学习系统的性能，你应如何决定接下来应该选择哪条道路？ 　　为了解释这一问题，我想仍然使用预测房价的学习例子，假如你已经完成了正则化线性回归，也就是最小化代价函数𝐽的值，假如，在你得到你的学习参数以后，如果你要将你的假设函数放到一组新的房屋样本上进行测试，假如说你发现在预测房价时产生了巨大的误差，现在你的问题是要想改进这个算法，接下来应该怎么办？ 　　实际上你可以想出很多种方法来改进这个算法的性能，其中一种办法是使用更多的训练样本。具体来讲，也许你能想到通过电话调查或上门调查来获取更多的不同的房屋出售数据。遗憾的是

CRF可以应用于对一串序列进行自动标注的问题。例如对文字序列进行词性标，即要自动判断句子中每个单词的词性。在这样的问题中，每一个词的标注结果，不仅依赖于该词语本身，还会依赖于其他词语的标注结果。CRF可以考虑到这样的依赖关系。 本文会以一个词性标注的应用为例，介绍CRF所解决的问题以及CRF模型的建立，学习与预测过程。 任务描述 词性标注 （part-of-speech tagging），其目标就是对一个句子即一串单词的序列进行打标签（tagging），标注每个词的词性（ADJECTIVE, NOUN, PREPOSITION, VERB, ADVERB, ARTICLE）。我们假设在词性标准任务中， 每个单词的词性不仅依赖其本身，而且也会依赖其前一个单词 （这里做了简化，实际上每个单词的标注结果依赖更多东西）。 下面，我将针对对这个问题，建立一个简单的线性链条件随机场（linear-chain CRF）。并介绍这个CRF是如何表示上述的依赖关系，以及如何利用这个CRF来求解这个问题。 实际上，和其他的统计机器学习模型一样，我们有三个任务要完成： 1）指定模型参数（建立模型） 2）估计这些参数（学习） 3）利用这些参数进行预测（预测） 第一个任务——建立模型 特征函数 为了评价序列中每个单词属于各个tag的可能性，我们要根据单词的位置定义一系列 特征函数 （feature

CRF可以应用于对一串序列进行自动标注的问题。例如对文字序列进行词性标，即要自动判断句子中每个单词的词性。在这样的问题中，每一个词的标注结果，不仅依赖于该词语本身，还会依赖于其他词语的标注结果。CRF可以考虑到这样的依赖关系。 本文会以一个词性标注的应用为例，介绍CRF所解决的问题以及CRF模型的建立，学习与预测过程。 任务描述 词性标注 （part-of-speech tagging），其目标就是对一个句子即一串单词的序列进行打标签（tagging），标注每个词的词性（ADJECTIVE, NOUN, PREPOSITION, VERB, ADVERB, ARTICLE）。我们假设在词性标准任务中， 每个单词的词性不仅依赖其本身，而且也会依赖其前一个单词 （这里做了简化，实际上每个单词的标注结果依赖更多东西）。 下面，我将针对对这个问题，建立一个简单的线性链条件随机场（linear-chain CRF）。并介绍这个CRF是如何表示上述的依赖关系，以及如何利用这个CRF来求解这个问题。 实际上，和其他的统计机器学习模型一样，我们有三个任务要完成： 1）指定模型参数（建立模型） 2）估计这些参数（学习） 3）利用这些参数进行预测（预测） 第一个任务——建立模型 特征函数 为了评价序列中每个单词属于各个tag的可能性，我们要根据单词的位置定义一系列 特征函数 （feature

Harris角点检测 1.角点概述 角点是图像很重要的特征,对图像图形的理解和分析有很重要的作用。角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高, 有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。角点在三维场景重建运动估计，目标跟踪、目标识别、图像配准与匹配等计算机视觉领域起着非常重要的作用 。在现实世界中，角点对应于物体的拐角，道路的十字路口、丁字路口等。从图像分析的角度来定义角点可以有以下两种定义： a. 角点可以是两个边缘的角点； b. 角点是邻域内具有两个主方向的特征点； 前者往往需要对图像边缘进行编码，这在很大程度上依赖于图像的分割与边缘提取，具有相当大的难度和计算量，且一旦待检测目标局部发生变化，很可能导致操作的失败。 早期主要有Rosenfeld和Freeman等人的方法，后期有CSS等方法。基于图像灰度的方法通过计算点的曲率及梯度来检测角点， 避免了第一类方法存在的缺陷，此类方法主要有Moravec算子、Forstner算子、Harris算子、SUSAN算子等。本文主要介绍的Harris角点检测的算法原理。 2. Harris角点检测基本原理 人眼对角点的识别通常是在一个局部的小区域或小窗口完成的。 如果在各个方向上移动这个特征的小窗口，窗口内区域的灰度发生了较大的变化，那么就认为在窗口内遇到了角点。

关于软间隔SVM和非线性SVM，在学习过程中，估计有很多入门的同学会好奇软间隔和硬间隔的区别有没有更合理的解释？软间隔中引入的松弛变量到底是什么？软间隔的优化函数和硬间隔的优化函数化简之后，为什么长得这么类似？有没有更形象的方式来划分软间隔中的支持向量，噪声点和误分类的点？软间隔SVM的代价函数，硬间隔SVM的代价函数和合页损失函数是一致的吗？以及核函数是个什么玩意？核函数的优点到底怎么解释？ 下面我将用EM算法的思想去解释软间隔和硬间隔的区别，并用通俗易懂的语言解释松弛变量的几何含义，以及系数C对支持变量的影响。用一张图解释软间隔是怎样区分支持向量，噪声点和误分类的点。对软间隔SVM的代价函数，硬间隔SVM的代价函数和合页损失函数的一致性进行了推导。 之后对特征空间和核函数的核心idea进行了阐述，并分析了核函数的形式来历和那句让人捉摸不透的优点。最后简要介绍了一下几个重要的核函数。 由于文章当中包含很多自己理解的部分，如有不当之处，请多多指正！！！ 线性分类SVM面临的问题 在上次课中，我们对线性可分SVM的算法的原理和流程进行了总结，如下图所示，为线性可分的数据集，我们可以采用线性可分的支持向量机，也称为硬间隔支持向量机。 当数据集中参杂了一些噪声，如下图所示，由于参杂了一个红色的噪声点，导致模型学习到的决策边界由下图中的粗虚线移动到了粗实线。 Q1

机器学习笔记[入门版] 本文是吴恩达《机器学习》的笔记，由于课程内容较为基础，所以本文对于许多数学知识有些欠缺 多变量线性回归 非线性函数线性化 这种情况下，特征的缩放就变得很重要（因为在平方甚至立方的情况下，特征的值会放大很多） 也不一定只要平方，开方也可以： 正规方程 相比梯度下降法，可以更快地获得最优解。 正规方程法更适合于较小型的问题，而梯度下降法适用于更大的数据集 正规方程不需要缩放特征 每个特征列在开头补上一个1然后转置，计算的公式是： 如果X^tX不可逆怎么办？ 整体来说，这种情况还是比较少的 pinv()指令能在矩阵不可逆的情况下也求解出正确答案 需要求解的特征量大于样本数时也会造成问题。 解决不可逆问题的办法： 删除线性相关的变量 当特征数量太多时，删除一些特征，或者使用正规化方法 向量化 多使用内置函数库（老师的意思是自己造轮子比不上人家的2333） 左图是自己写的循环，右图是调用向量相乘的方法。右图由于使用了内置的乘法，效率比自己写的要高 C++也有这种，线性运算的库 再复杂一点的情况也是，向量化之后慢慢处理 Logistic回归 依然是在机器学习中常用的一种算法 线性规划在分类问题中的表现一般不太好 线性规划设置阈值的方法在分类中不好使 Logistic回归是一种分类算法，和回归分析没关系，这个名字有点问题，是历史遗留问题 Sigmoid function

卷积神经网络 　　卷积神经网络（CNN）是深度学习的代表算法之一 。具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络” 。 随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于 计算机视觉 、 自然语言处理 等领域 。 　　卷积是通过两个函数 f，g 生成第三个函数的一种数学算子，表征函数 f 与 g 经过翻转和平移的重叠部分的面积。数学定义公式： 　　事实上，在卷积网络上使用的离散卷积，也就是不连续的，它是一种运算方式，也就是按照卷积核，将输入对应位置的数据进行加权和运算，接下来结合卷积核的概念，就会很好理解了。 卷积神经网络最重要的两个知识点就是 卷积核 和 卷积神经网络的结构 卷积核 卷积核定义 卷积操作 深度 步幅 零填充 卷积神经网络的结构 输入层 INPUT 卷积层 CONV 激活函数层 RELU 池化层 POOL 全连接层 FC 卷积核 ​　　卷积核是整个网络的核心，训练 CNN 的过程就是不断更新卷积核参数直到最优的过程。 　　 卷积核的定义 ：对于输入图像中的一部分区域，进行加权平均的处理，其中这个过程的权重，由一个函数定义，这个函数就是卷积核。 如下图彩色图像有RGB三个色值通道，分别表示红、绿、蓝，每个通道内的像素可以用一个像下图右边的二维数组表示，数值代表0-255之间的像素值

这篇博客要讨论一个问题,就是如何让计算机下棋? 有如下三种形式: 1.同人类的做法一样,分析局势,和将帅的安全性,这里会有一些分析策略,还有一些战术,这些混合在一起,最终得到下一步要走哪.不过很遗憾的是,如今的程序都不知道如何包含这类东西. 2.使用 IF-THEN 结构 以这种结构,如果第一步走什么,那么后面可以走哪些步. 3.向前看并进行评估 选择下面最好形式的一个,要做到这点,我们需要设法评估这些形式,确定其中哪个是最好的.要评估形式的好坏需要一系列的特征,比如:f1,f2,f3.....fn,在此基础上我们可以对这些特征建立一些函数,通过这个函数来计算形式的对应值,一般而言,这个函数可以用线性多项式表示:<a href="https://www.codecogs.com/eqnedit.php?latex=S=g(f_{1}^{&space;},f_{1}^{&space;},...,f_{n}^{&space;})" target="_blank"><img src="https://latex.codecogs.com/gif.latex?S=g(f_{1}^{&space;},f_{1}^{&space;},...,f_{n}^{&space;})" title="S=g(f_{1}^{ },f_{1}^{ },...,f_{n}^{ })" /></a> 来源：

原文: http://blog.gqylpy.com/gqy/418 置顶：来自一名75后老程序员的武林秘籍——必读 （博主推荐） 来，先呈上武林秘籍链接： http://blog.gqylpy.com/gqy/401/ 你好，我是一名极客！一个 75 后的老工程师！ 我将花两分钟，表述清楚我让你读这段文字的目的！ 如果你看过武侠小说，你可以把这个经历理解为，你失足落入一个山洞遇到了一位垂暮的老者！而这位老者打算传你一套武功秘籍！ 没错，我就是这个老者！ 干研发 20 多年了！我也年轻过，奋斗过！我会画原理图，会画 PCB，会模拟，会数字！玩过 PLC，玩过单片机，会用汇编，会用 C！玩过 ARM，比如 PLC，STM32，和时下正在起飞的 NXP RT1052！搞过 DSP，比如 TMS320F28335！搞过 FPGA，不管 Xilinx 还是 Altera，也不管是 Verilog 还是 VHDL，或者直接画数字电路图！我懂嵌入式系统，比如 uCOS 和 Linux！我懂开源的硬件，比如 Arduino 和树莓派!我也搞软件，学了一堆上位机的语言C#，JAVA，Python，Kotlin，Swift！会写爬虫工具，又自学写APP，不管Android 还是 IOS！ 可是这一切有什么用呢？土鸡瓦狗！不值一提！干技术的永远就是最苦逼的那个人！ 我相信看到这里的你，应该是个 IT

机器学习概述 @(机器学习) 什么是机器学习？ 机器学习主要是研究如何使计算机从给定的数据中学习规律，即从观测数据（样本）中寻找规律，并利用学习到的规律（模型）对位置或无法观测的数据进行预测。 机器学习基本概念 1、机器学习算法类型   根据训练数据提供的信息以及反馈方式的不同，可以分为： * 有监督学习(Supervised Learning)：每组训练数据都有一个明确的标签和结果，利用这些已知的数据来学习模型的参数，使得模型预测的目标标签和真实标签尽可能接近。涉及的应用：预测房屋的价格，股票的涨停，垃圾邮件检测。神经网络也是一种监督学习的方式。常见算法有逻辑回归(Logistic Regression)和反向传递神经网络(Back Propagation Neural Network)。根据目标标签的类型不同，又可以分为： * 回归 (Regression)问题：目标标签y是连续值（实数或连续整数）,f(x)的输出也是连续值。 * 分类 (Classification)问题：目标标签y是离散的类别（符号）。在此问题中，通过学习得到的决策函数也叫 分类器 。 无监督学习(Unsupervised Learning)：学习的数据不包含目标标签，需要学习算法自动学习到一些有价值的信息。一个典型的问题就是 聚类 ，常见算法包括Apriori算法以及k-Means算法。 半监督学习