流形学习

作者 | 何通木 来源 | 知乎 大家好，我是来自清华大学数学系的准大四学生何通木。学了三年现代数学，我想把自己的一些感悟记录下来。回头看这三年，觉得走了很多弯路、做了很多意义不大的事情，想来是跟学长、老师们的深层次沟通少了，所以想用剖析自己的经历、优缺点的方式，向大家展示一个天分普通的学生的本科学习历程，希望后来人能够更好地利用这三年时间。 对于不想从头看到尾的同学，可以根据目录挑选想看的部分，也可以只看第八节：修习顺序建议。以下观点仅为个人观点，欢迎大家讨论！ 目录 一、指导思想 二、最基本的语言：数分、线代、抽代、拓扑、流形 三、启发性的直观：黎曼曲面、微分拓扑、微分几何 四、大一统的理论：代数拓扑、代数几何 五、辅助性的工具：同调代数、交换代数 六、数学的皇后：代数数论 七、准备丘赛 八、修习顺序建议 九、附录：课程大纲 一、指导思想：广度优先 为什么我是大三结束的时候来写这篇建议呢，因为到了大四大家已经要开始准备自己那一个小方向的毕业论文了，前三年才是基础数学的基础性学习阶段。老师们都说，在本科时候要多学点东西；丘成桐先生也经常说，数学家至少要精通两个方向，才有可能发现不同方向的联系，才能做出大成就。“发现不同学科的联系”是我逐渐领悟到的努力目标，其本质是更好地理解数学，同时也是把冗余的东西缩并起来，化归到自己原有的知识体系中。 所以这篇建议的（来源于我的）局限性在于

原文：http://blog.csdn.net/yujianmin1990/article/details/48223001 　数据的形式是多种多样的，维度也是各不相同的，当实际问题中遇到很高的维度时，如何给他降到较低的维度上？前文提到进行属性选择，当然这是一种很好的方法，这里另外提供一种 从高维特征空间向低纬特征空间映射 的思路。 数据降维的目的 　　数据降维，直观地好处是维度降低了，便于计算和可视化，其 更深层次的意义在于有效信息的提取综合及无用信息的摈弃 。 数据降维的方法 　　主要的方法是线性映射和非线性映射方法两大类。 线性映射 　　 线性映射方法的代表方法有：PCA（Principal Component Analysis），LDA（Discriminant Analysis） PCA方法简介 　　主成分分析的 思想 ，就是线性代数里面的K-L变换，就是 在均方误差准则下失真最小的一种变换 。是将原空间变换到特征向量空间内，数学表示为 A x = λ x 。 　　特征向量和特征值的意义：分别表示不同频率及其幅度。 　　 特征向量和特征值的直白理解： 想在特征空间内找到某个向量 x ，使得其满足 A x = λ x 。这个式子可以这样理解， A 是空间内的运动， x 经过运动 A 后，保持方向不变（仍是 x 的方向），只是大小伸缩了 λ 倍。这样我们找到了 k

流形学习 低维流形空间映射到高维空间中去(低维 -> 高维，看了一天觉得这样好理解)，也就是说一个高维空间可以有一个简单的低维流形空间来刻画。 举个简单的栗子，一个圆在二维空间中需要(x,y)两个坐标参数，而在极坐标系中只需要半径r一个参数就可以刻画出来了，也就是说高维空间中存在性质的冗余。流形学习要做的就是找到高维空间的 嵌入空间 (低维空间，嵌入空间是给后面的sklearn埋下伏笔🐕 网上冲浪的许久，这个回答 (麋路) 让我赞了 t-SNE技术 机器学习中降维的技术有很多种，上图是一些 常见的 降维技术，而SNE和t-SNE是才出现不久的降维技术，两者的差别不大主要是低维空间中概率函数选择的不同，因为t-SNE好很多，所以 果断 选择后者++ 引入 简介 在人们的常识中，物件之间越接近则有很大可能是属于同一类。而在线性降维的过程中确实是这样子体现的，但是如果是复杂的高维空间(下图),两点之间是否接近就不能用简单的欧氏距离来衡量了，数据之间的内在特征就无法表达出来。 举个栗子：在50维空间中有11个点它们之间的距离两两相等，而如果在二维空间中能表示几个点之间的距离两两相等的最多只有三个，这就告诉了我们这样子描述数据之间的相似程度是行不通的。 t-SNE技术采用新的概率分布衡量方式保证在高低维空间中内在特征不被破坏，同时保证较好的区分能力 衡量距离的新方法-相似程度 在t

往期回顾: 01——机器学习基本概念、统计学基本概念简单介绍 02——逻辑回归/logistic回归、广义线性模型与最大熵模型 03——支持向量机以及核方法 前面介绍了有关机器学习的基本概念和经典算法，现在让我们了解一下为什么深度学习会崛起。（主要参考《深度学习》） 促使深度学习发展的挑战 很多简单的机器学习算法在不同的重要问题上面效果都表现良好，但它们不能解决一些核心问题，比如语音识别或者对象识别。传统学习算法在这些方面的泛化能力不足。下面让我们说说泛化能力不足的具体原因。 事实上，深度学习的复兴起始于Hinton表明神经网络能够在MNIST基准数据上胜过RBF核的支持向量机。 1. 维数灾难(Curse of Dimensionality) 当数据的维数很高时，很多学习问题就会变得相当困难。这种现象被称为 维数灾难 。一组变量不同的可能配置组合的数量会随着变量数目的增加而指数级增长。 由维数灾难带来的挑战就是统计挑战。许多传统机器学习算法只是简单地假设在一个新点的输出应大致和最近的训练点的输出相同。 在低维度里，由于数据可能的组合配置很少，我们很容易就能覆盖大部分的区域，比如我们只考虑一个特征的十个值，我们不需要很多数据就能完全覆盖它的配置组合。可是随着维数上升，比如两个特征的各自十个值，我们就需要考虑10 x 10 =100个区域；三个特征就需要追踪1000个区域……

本篇文章是对《Geodesic Flow Kernel for Unsupervised Domain Adaptation》的学习。 格拉斯曼流形 在讲述GFK之前我们先引入一个概念，即格拉斯曼流形。百度百科中的定义： 设W是n维向量空间，考虑W中全体k维子空间构成的集合G=Grass(k,W)，因为G上有自然的流形结构，所以我们将它称为格拉斯曼流形。 关于这个定义我们并不需要深究，只要知道n维空间的所有k维子空间构成了一个流形结构即可。 1 SGF 之前博客讲的方法均是将源域和目标域数据映射到同一个空间中，SGF（Sampling Geodesic Flow）则引入了格拉斯曼流形，将源域和目标域看做这个流形结构中的两个点，并构建从源域到目标域的测地线，测地线上的每个点可以看作是一个子空间，通过将数据映射在该测地线上的不同子空间，并进行分析，学习算法可以很好地提取较为恒定的特征（即在子空间变化的过程中较为稳定的一部分）。一个直观的理解就是汽车出发地驶向目的地，这个过程中车身会位移，会旋转，运气不好出现点剐蹭还会发生一些形变，但整个过程车的型号、车牌号、具体的一些硬件配置等等是不会变化的，对车辆在行驶过程的影像进行分析，可以获取这些稳定的特征，用于接下来的特定任务场景中。 SGF的步骤大体如下：（1）构建连接源域和目标域的测地线；（2）对测地线进行采样，获取若干子空间；（3

深度学习（一）——深度学习概述 文章目录 深度学习（一）——深度学习概述 深度学习的定义和起源 促使深度学习发展的原因 特征工程方面的挑战 维度灾难 局部不变性和平滑正则化 流形学习 小结 深度学习的定义和起源 我们谈论的 深度学习 （Deep learning），从某种意义上来说，是 机器学习 （Machine learning）领域的一个分支，它实际上就是使用了一类非常重要且功能强大的机器学习模型——人工神经网络（Artificial Neural Network,ANN）。其实把深度学习等同于神经网络也并无不可。深度学习具有以下的特点： 神经网络的层数往往比较多 ，可能会多达10多层。 深度学习非常注重特征的变换， 明确了特征学习的重要性 。实际上，深度学习的每一层就是一个特征变换，能够使得低维的数据自动地向高维转化。这一过程相当于自动的特征工程，使得原本在传统机器学习中非常复杂的特征过程变得程式化，也更科学。 神经网络的模型思路，来自于仿生学和神经科学。当人类第一次构思可编程的计算机时，就已经在思考如何让机器变得智能（即时当时距离第一台计算机的出现还有一百多年）。为了达成这个目标，当时的人们自然地想到，能否从人的大脑中获得一些启发，来设计一种方案，使得机器获得和人脑一样的智能呢？为此，神经科学家们进行了许多许多的实验（有的甚至非常残忍，至少在我看来）

下面这篇文章摘自 Liqizhou 的随笔，我觉得它非常清楚地概述了半监督学习，值得收藏。 原文地址：http://www.cnblogs.com/liqizhou/archive/2012/05/11/2496155.html 最近的一段时间一直在学习半监督学习算法，目前，国内的南京大学周志华老师是这方面的泰斗，写了很多这方面牛的文章，可以参考一下他的主页： http://cs.nju.edu.cn/zhouzh/ 。在国内的学术界周老师一直是我比较钦佩的人之一。下面贴出来的文章出自周老师之手，通俗易懂。受益匪浅。。 1. 引言 在传统的监督学习中,学习器通过对大量有标记的(labeled)训练例进行学习,从而建立模型用于预测未见示例的标记。这里的“标记”(label)是指示例所对应的输出,在分类问题中标记就是示例的类别,而在回归问题中标记就是示例所对应的实值输出。随着数据收集和存储技术的飞速发展,收集大量未标记的(unlabeled)示例已相当容易,而获取大量有标记的示例则相对较为困难,因为获得这些标记可能需要耗费大量的人力物力。例如在计算机辅助医学图像分析中,可以从医院获得大量的医学图像作为训练例,但如果要求医学专家把这些图像中的病灶都标识出来,则往往是不现实的。事实上,在真实世界问题中通常存在大量的未标记示例,但有标记示例则比较少,尤其是在一些在线应用中这一问题更加突出