样本空间

各种名词让人看的眼花缭乱，其实把各种名词的含义理解清楚，才是学习概率论的第一步！！！comeon baby！！ 走起！！ 样本空间： 你目前做的试验可能出现的所有情况组成一个集合，这个集合就是样本空间。比如：你目前正在做抛硬币试验，那么集合S：{正面，反面，竖起来了}就是这个试验的样本空间。 样本点： 组成样本空间中每一个元素就是一个样本点。比如：正面、反面、竖起来了都是样本点。 随机事件： 千万不要把“随机事件”当成N次试验的其中的一次，那是大错特错！！！"随机事件"是一个集合（样本空间的子集），同样拿硬币试验举例子，我们把抛硬币正面朝上叫做一个随机事件，用很高达上的数学符号表示就是这样的"A:{t|t="正面"}"，你没看错，这个集合就是抛硬币试验的一个随机事件。简称： 事件。 做实验的过程中，如果出现了正面朝上，我们叫做： 这一事件发生 。 基本事件： 还记得前面的样本点吗？如果一个随机事件，仅包含一个样本点，那就是基本事件了！！！比如抛硬币试验有三个基本事件：A1:{t|t="正面"}，A2:{t|t="反面"},A3:{t|t="竖起来了"}。 必然事件、不可能事件： 样本空间为必然事件，空集为不可能事件。 --------------------------------------------------------啰嗦模式开启---------------------

上篇主要介绍了常用的特征选择方法及稀疏学习。首先从相关/无关特征出发引出了特征选择的基本概念，接着分别介绍了子集搜索与评价、过滤式、包裹式以及嵌入式四种类型的特征选择方法。子集搜索与评价使用的是一种优中生优的贪婪算法，即每次从候选特征子集中选出最优子集；过滤式方法计算一个相关统计量来评判特征的重要程度；包裹式方法将学习器作为特征选择的评价准则；嵌入式方法则是通过L1正则项将特征选择融入到学习器参数优化的过程中。最后介绍了稀疏表示与压缩感知的核心思想：稀疏表示利用稀疏矩阵的优良性质，试图通过某种方法找到原始稠密矩阵的合适稀疏表示；压缩感知则试图利用可稀疏表示的欠采样信息来恢复全部信息。本篇将讨论一种为机器学习提供理论保证的学习方法–计算学习理论。 # 13、计算学习理论 计算学习理论（computational learning theory）是通过“计算”来研究机器学习的理论，简而言之，其目的是分析学习任务的本质，例如： 在什么条件下可进行有效的学习，需要多少训练样本能获得较好的精度等，从而为机器学习算法提供理论保证 。 首先我们回归初心，再来谈谈经验误差和泛化误差。假设给定训练集D，其中所有的训练样本都服从一个未知的分布T，且它们都是在总体分布T中独立采样得到，即 独立同分布 （independent and identically distributed，i.i.d.），在

假设特征有效，正负样本在特征空间里的分布是有差别的，比如有的空间区域正负样本比例是1:10，而有的区域正负样本比例是1:1000000，即特征对于样本预测仍然有效，而模型尝试学习的就是这个映射关系。 但由于样本不均衡，在大部分特征空间区域，仍然是预测为负样本会带来更小的损失，从而导致模型失效，或者预测值总是集中的0附近。 也就是说预测偏向样本数较多的分类。这样就会大大降低模型的范化能力。往往accuracy（准确率）很高，但auc很低。 来源： CSDN 作者： 御剑归一 链接： https://blog.csdn.net/wj1298250240/article/details/104540720

基本术语 数据集（data set）：一组记录的集合。例如：（色泽=青绿；根蒂=稍蜷；敲声=沉闷）。 样本（sample）：数据集中的每条记录，它是关于一个事件或对象的描述。又称示例（instance）。例如：色泽=青绿。 属性（attribute）：反映事件或对象在某方面的表现或性质的事项。又称特征（feature）。例如色泽。 属性值（attribute value）：属性上的取值。例如：青绿。 属性空间（attribute space）：属性张成的空间。又称样本空间（sample space）。例如：把色泽、根蒂、敲声作为三个坐标轴，它们张成的一个描述西瓜的三维空间，每个西瓜都可以在这个空间中找到一个对应的坐标位置，这个点对应一个坐标向量，这个示例又称为一个“特征向量”（feature vector）。 学习（learning）/训练（training）：从数据中学得模型的过程，这个过程是通过执行某个学习算法来完成。 训练数据（training data）：训练过程中使用的数据。 训练样本（training sample）：训练数据中的每个样本。 训练集（training set）：训练样本组成的集合。 假设（hypothesis）：学得模型对应了关于数据的某种潜在的规律。 学习器（learner）：模型又称学习器。 标记（label）：学得一个模型

【第1章 绪论】 1.1 引言 学习算法： 机器学习所研究的主要内容，是关于在计算机上从数据中产生“ 模型 ”的算法，即“ 学习算法 ”。 学习算法的作用： 1.基于提供的经验数据产生 模型 ； 2.面对新情况时， 模型 可提供相应的判断。 模型： 泛指从数据中学得的结果。 学习器： 学习算法在给定数据和参数空间上的实例化。 1.2 基本术语 要进行机器学习，先要有数据。 数据集： 一组记录的集合。 示例/样本/特征向量： 每条记录（关于一个事件或对象的描述）或空间中的每一个点（对应一个坐标向量）。 属性/特征： 反应事件或对象在某方面的表现或性质的事项。 属性值： 属性上的取值。 属性空间/样本空间/输入空间： 属性张成的空间。 维数： 属性的个数。 模型需要从数据中学得。 学习/训练： 从数据中学得模型的过程。 训练数据： 训练过程中使用的数据。 训练样本： 每个样本。 训练集： 训练样本组成的集合。 假设： 学习模型对应了关于数据的某种潜在的规律。 真相/真实： 这种潜在规律自身。 学习过程就是为了找出或逼近真相。 获得训练样本的结果信息，才能建立“预测”的模型。 标记： 关于示例结果的信息。 样例： 拥有了标记信息的示例。 标记空间： 所有标记的集合。 测试： 学得模型后，使用其进行预测的过程。 测试样本： 被预测的样本。 聚类： 将训练集中的训练样本分成若干组。 簇：

原文：http://blog.csdn.net/yujianmin1990/article/details/48223001 　数据的形式是多种多样的，维度也是各不相同的，当实际问题中遇到很高的维度时，如何给他降到较低的维度上？前文提到进行属性选择，当然这是一种很好的方法，这里另外提供一种 从高维特征空间向低纬特征空间映射 的思路。 数据降维的目的 　　数据降维，直观地好处是维度降低了，便于计算和可视化，其 更深层次的意义在于有效信息的提取综合及无用信息的摈弃 。 数据降维的方法 　　主要的方法是线性映射和非线性映射方法两大类。 线性映射 　　 线性映射方法的代表方法有：PCA（Principal Component Analysis），LDA（Discriminant Analysis） PCA方法简介 　　主成分分析的 思想 ，就是线性代数里面的K-L变换，就是 在均方误差准则下失真最小的一种变换 。是将原空间变换到特征向量空间内，数学表示为 A x = λ x 。 　　特征向量和特征值的意义：分别表示不同频率及其幅度。 　　 特征向量和特征值的直白理解： 想在特征空间内找到某个向量 x ，使得其满足 A x = λ x 。这个式子可以这样理解， A 是空间内的运动， x 经过运动 A 后，保持方向不变（仍是 x 的方向），只是大小伸缩了 λ 倍。这样我们找到了 k

文章目录 1.1 引言 1.2 基本术语 1.3 假设空间 1.4 归纳偏好 1.5 发展历程 1.6 应用现状 1.1 引言   机器学习的定义：假设用 P 来评估计算机程序在某任务类 T 上的性能，若一个程序通过利用经验 E 在 T 中任务上获得了性能改善，则我们就说关于 T 和 P ，该程序对 E 进行了学习。   机器学习是研究 关于算法 的学问。 1.2 基本术语 数据集（data set） ：数据、记录的集合 示例（instance）/ 样本（sample） ：关于一个事件或对象的描述（每条数据、记录） 属性（attribute）/ 特征（feature） ：反映事件在某方面的表现或性质的事项 属性值（attribute value） ：属性的取值 属性空间（attribute space）/ 样本空间（sample space）/ 输入空间 ：属性张成的空间 特征向量（feature vector） ：每个示例都可以在属性空间中找到自己所对应的坐标向量，所以我们也把一个示例称为一个特征向量   一般地，令 D = { x 1 , x 2 , … , x m } D=\left\{\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \ldots, \boldsymbol{x}_{m}\right\} D = { x 1 ​ , x 2 ​ ,

第1章 机器学习基础 机器学习 概述 机器学习(Machine Learning,ML) 是使用计算机来彰显数据背后的真实含义，它为了把无序的数据转换成有用的信息。是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。 海量的数据 获取有用的信息 机器学习 研究意义 机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 “机器学习是对能通过经验自动改进的计算机算法的研究”。 “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

最近一个朋友问这方面的一些问题，其实之前也就很粗略的看了下fisher，真正帮别人解答问题的时候才知道原来自己也有很多东西不懂。下面小结下自己对fisher判别的理解： 其实fisher和PCA差不多，熟悉PCA的人都知道，PCA其实就是在寻找一个子空间。这个空间怎么来的呢，先求协方差矩阵，然后求这个协方差矩阵的特征空间（特征向量对应的空间），选取最大的特征值对应的特征向量组成特征子空间（比如说k个，相当于这个子空间有k维，每一维代表一个特征，这k个特征基本上可以涵盖90%以上的信息）。那么我们把样本投影在这个子空间，原来那么多维的信息就可以用这k维的信息代替了，也就是说降维了。至于PCA为啥要用求协方差矩阵然后求特征子空间的方法，这个数学上有证明，记得在某篇文章上看过，有兴趣的可以找找，看看证明。 那么fisher空间又是怎么一回事呢，其实fisher判别和PCA是在做类似的一件事，都是在找子空间。不同的是,PCA是找一个低维的子空间，样本投影在这个空间基本不丢失信息。而fisher是寻找这样的一个空间，样本投影在这个空间上，类内距离最小，类间距离最大。那么怎么求这个空间呢，类似于PCA，求最大特征值对应的特征向量组成的空间。 当我们取最大几个特征值对应的特征向量组成特征空间时（这里指出，最佳投影轴的个数d<=c-1，这里c是类别数），最佳投影矩阵如下：

贝叶斯统计 贝叶斯估计 1.总体信息：即总体分布或总体所属分布族给我们的信息。譬如，“总提示正太分布”这句话九个我们带来很多信息；它的密度函数是一条钟形曲线；它的一切阶矩都存在；基于正态分布有许多成熟的统计推断方法可供我们选用等。总体信息是很重要的信息，为了获取此种信息往往耗资巨大。 2.样本信息，即样本提供给我们的信息，这是最“新鲜”的信息，并且越多越好，我们希望通过样本对总体分布或总体的某些特种做出较精确的统计推断。没有样本，就没有统计学可言。 基于以上两种信息统计推断的统计学就称为经典统计学。前述的矩估计、最大似然估计、最小方差无偏估计等都属于经典统计学范畴。然而我们周围还存在第三种信息-先验信息，它也可用于统计推断。 3.先验信息，即在抽样之前有关统计问题的一些信息。一般来说，先验信息来源于经验和历史资料。先验信息在日常生活和工作中都很重要的，人们自觉或不自居地在使用它。 贝叶斯公式的密度函数形式 1.依赖于参数θ的密度函数在经典统计中记为P(x;θ)，它表示参数空间θ中不同的θ对应不同的分布。在贝叶斯统计中应记为p(x|θ)，它表示随机变量θ给定某个值时，X的条件密度函数。 2.根据参数θ的先验信息确定先验分布π(θ) 3.从贝叶斯观点看，样本x=（x1,x2,…,xn）的产生要分两步进行。首先，设想从先验分布π(θ)产生一个样本θ’。这一步是“老天爷”做的