层次聚类方法

1. K-Means(K均值)聚类 算法步骤： (1) 首先我们选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。 (2) 计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。 (3) 计算每一类中中心点作为新的中心点。 (4) 重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可以多次随机初始化中心点，然后选择运行结果最好的一个。 优点： 速度快，计算简便 缺点： 我们必须提前知道数据有多少类/组。 K-Medians是K-Means的一种变体，是用数据集的中位数而不是均值来计算数据的中心点。 K-Medians的优势是使用中位数来计算中心点不受异常值的影响；缺点是计算中位数时需要对数据集中的数据进行排序，速度相对于K-Means较慢。 2. 均值漂移聚类 均值漂移聚类是基于滑动窗口的算法，来找到数据点的密集区域。这是一个基于质心的算法，通过将中心点的候选点更新为滑动窗口内点的均值来完成，来定位每个组/类的中心点。然后对这些候选窗口进行相似窗口进行去除，最终形成中心点集及相应的分组。 具体步骤： (1)确定滑动窗口半径r，以随机选取的中心点C半径为r的圆形滑动窗口开始滑动。均值漂移类似一种爬山算法，在每一次迭代中向密度更高的区域移动，直到收敛。 (2) 每一次滑动到新的区域

聚类作为一种重要的人类行为，早在还提时代，一个人就通过不断的改进下意识中的聚类模式类学会如何区分家猫、家狗等等动植物。目前，聚类方法也在许多领域都得到了广泛的研究和成功应用。常见的如：模式识别、数据分析、图像处理、市场研究以及文档分析等。 聚类原理： 聚类就是按照某个特定的标准（最常见的如距离）把一个数据集分割成不同的类或者簇，从而使得同一个簇类的数据对象的相似性尽可能的最大，同时不同簇中的数据对象之间的差异尽可能的最大。 1.聚类算法的分类 目前，有着大量的聚类算法[3]。但对于具体的应用，聚类算法的选择要根据数据类型以及聚类的目的进行适当的选择。如果聚类分析被用作描述或者探查的工具，可以对too那样的数据尝试多种算法，以发现数据可能揭示的结果。 聚类算法主要可以划分为如下几类：划分方法、层次方法、基于密度的方法、基于网络的方法以及基于模型的方法[4-6]。 每一类中都存在着得到广泛应用的方法。如：划分法中的k-means[7]聚类方法、层次聚类方法中凝聚性层次聚类方法、基于模型方法中的神经网络聚类方法等。 目前，聚类问题的研究不仅仅局限于上述的硬聚类，即每一个数据只能被归为一类，模糊聚类[10]也是聚类分析中研究较为广发的一个分支。模糊聚类通过隶属函数来确定每个数据隶属于各个簇的程度，而不是讲一个数据对象硬性的归为某一个簇中。目前已经有很多关于模糊聚类的算法被提出

1.何为聚类 聚类是用于寻找数据内在的分布结构。既可以作为一个单独的过程，如异常检测等；也可作为分类等其他学习任务的前驱过程。聚类是标准的无监督学习。 在一些推荐系统中需要确定新用户的类型，但“用户类型”这个概念可能无法精确定义，此时往往会先对原有的用户数据进行聚类。然后根据聚类的结果将每个簇定义为一个类。然后在基于这些类别取进行相应的分类训练，以判断新用户的类型。 2.何为降维 降维主要是为了缓解维数灾难的一个重要方法。 主要是通过数学变换将原始的高维属性转变到一个低维的子空间。虽然人们平时观测到的数据基本都是高维的，但实际上真正与学习任务的分布相关的往往是低纬度的分布。所以，一般可以通过最主要的几个特征维度就可以实现对数据的描述。如kaggle上的泰坦尼克号生还问题。其主要是通过给定一个人的许多描述特征如年龄、姓名、性别和票价等来判断其是否能在海滩中生还。这就需要先进行特征筛选，从而找出主要的特征，让学校到的模型有更好地泛化性。 3.异同 (1) 聚类和降维都可以作为分类等问题的预处理步骤。 (2) 但他们虽然都可以实现对数据的约减，但二者使用情况不同。聚类针对的是数据点，而降维针对的是数据的特征。 聚类常见的有k-means，层次聚类，基于密度的聚类等；降维中常见的有PCA、Isomap、LLE等。 本文摘自“深度学习500问”。 来源： CSDN 作者： 不爱学习的笨蛋

无监督学习是机器学习领域内的一种学习方式。本文将给大家解释他的基本概念，告诉大家无监督学习可以用用到哪些具体场景中。 最后给大家举例说明2类无监督学习的思维：聚类、降维。以及具体的4种算法。 什么是无监督学习？ 无监督学习是机器学习中的一种 训练方式/学习方式 ： 下面通过跟监督学习的对比来理解无监督学习： 监督学习是一种目的明确的训练方式，你知道得到的是什么；而 无监督学习则是没有明确目的的训练方式，你无法提前知道结果是什么 。 监督学习需要给数据打标签；而 无监督学习不需要给数据打标签 。 监督学习由于目标明确，所以可以衡量效果；而 无监督学习几乎无法量化效果如何 。 简单总结一下： 无监督学习是一种机器学习的训练方式，它本质上是一个统计手段，在没有标签的数据里可以发现潜在的一些结构的一种训练方式。 它主要具备3个特点： 无监督学习没有明确的目的 无监督学习不需要给数据打标签 无监督学习无法量化效果 这么解释很难理解，下面用一些具体案例来告诉大家无监督学习的一些实际应用场景，通过这些实际场景，大家就能了解无监督学习的价值。 无监督学习的使用场景 案例1：发现异常 有很多违法行为都需要"洗钱"，这些洗钱行为跟普通用户的行为是不一样的，到底哪里不一样？ 如果通过人为去分析是一件成本很高很复杂的事情，我们可以通过这些行为的特征对用户进行分类，就更容易找到那些行为异常的用户

一、聚类思想 所谓聚类算法是指将一堆没有标签的数据自动划分成几类的方法，属于无监督学习方法，这个方法要保证同一类的数据有相似的特征，如下图所示： 根据样本之间的距离或者说是相似性（亲疏性），把越相似、差异越小的样本聚成一类（簇），最后形成多个簇，使同一个簇内部的样本相似度高，不同簇之间差异性高。 二、k-means聚类分析算法 相关概念： K值 ：要得到的簇的个数 质心 ：每个簇的均值向量，即向量各维取平均即可 距离量度 ：常用欧几里得距离和余弦相似度（先标准化） 算法流程： 1、首先确定一个k值，即我们希望将数据集经过聚类得到k个集合。 2、从数据集中随机选择k个数据点作为质心。 3、对数据集中每一个点，计算其与每一个质心的距离（如欧式距离），离哪个质心近，就划分到那个质心所属的集合。 4、把所有数据归好集合后，一共有k个集合。然后重新计算每个集合的质心。 5、如果新计算出来的质心和原来的质心之间的距离小于某一个设置的阈值（表示重新计算的质心的位置变化不大，趋于稳定，或者说收敛），我们可以认为聚类已经达到期望的结果，算法终止。 6、如果新质心和原质心距离变化很大，需要迭代3~5步骤。 三、数学原理 K-Means采用的启发式方式很简单，用下面一组图就可以形象的描述: 上图a表达了初始的数据集，假设k=2。在图b中，我们随机选择了两个k类所对应的类别质心，即图中的红色质心和蓝色质心

Clustering 聚类K-means 　　聚类 是机器学习和数据挖掘领域的主要研究方向之一，它是一种 无监督 学习算法，小编研究生时期的主要研究方向是“ 数据流自适应聚类算法 ”，所以对聚类算法有比较深刻的理解，于是决定开一个专题来写聚类算法，希望可以为入门及研究聚类相关算法的读者带来帮助。聚类可以作为一个单独的任务，用于寻找数据内在分布结构，也经常作为其他学习任务的前驱过程，应用十分广泛。今天，小编就带你探索聚类算法的奥秘，并介绍第一个聚类算法Kmeans。 Q:什么是聚类？ A:聚类是按照某一种特定的 标准 （相似性度量，如欧式距离等），把一个数据集分割成不同的类，使得同一个类中的数据对象的相似性尽可能大，不同类之间的差异性也尽可能大，如下图是一个聚类结果的可视化： 聚类有非常广泛的应用，比如根据消费记录发现不同的客户群，对基因表达进行聚类可以研究不同种群中的基因特征，对文本进行聚类可以快速找出相关主题的文章等。 Q:如何度量相似性？ A:常用的相似性度量方式主要有以下几种： 欧式距离： Minkowoski距离： 曼哈顿距离： 余弦距离： Jaccard相似系数： 相关系数： Q:常用的聚类算法有哪些？ A: 基于划分的聚类：k-means，mean shift 层次聚类：BIRCH 密度聚类：DBSCAN 基于模型的聚类：GMM Affinity propagation

Clustering 聚类K-means 　　聚类 是机器学习和数据挖掘领域的主要研究方向之一，它是一种 无监督 学习算法，小编研究生时期的主要研究方向是“ 数据流自适应聚类算法 ”，所以对聚类算法有比较深刻的理解，于是决定开一个专题来写聚类算法，希望可以为入门及研究聚类相关算法的读者带来帮助。聚类可以作为一个单独的任务，用于寻找数据内在分布结构，也经常作为其他学习任务的前驱过程，应用十分广泛。今天，小编就带你探索聚类算法的奥秘，并介绍第一个聚类算法Kmeans。 Q:什么是聚类？ A:聚类是按照某一种特定的 标准 （相似性度量，如欧式距离等），把一个数据集分割成不同的类，使得同一个类中的数据对象的相似性尽可能大，不同类之间的差异性也尽可能大，如下图是一个聚类结果的可视化： 聚类有非常广泛的应用，比如根据消费记录发现不同的客户群，对基因表达进行聚类可以研究不同种群中的基因特征，对文本进行聚类可以快速找出相关主题的文章等。 Q:如何度量相似性？ A:常用的相似性度量方式主要有以下几种： 欧式距离： Minkowoski距离： 曼哈顿距离： 余弦距离： Jaccard相似系数： 相关系数： Q:常用的聚类算法有哪些？ A: 基于划分的聚类：k-means，mean shift 层次聚类：BIRCH 密度聚类：DBSCAN 基于模型的聚类：GMM Affinity propagation

python分类预测模型的特点 模型 模型特点 位于 SVM 强大的模型,可以用来回归,预测,分类等,而根据选取不同的和函数,模型可以是线性的/非线性的 sklearn.svm 决策树 基于"分类讨论,逐步细化"思想的分类模型,模型直观,易解释 sklearn.tree 朴素贝叶斯 基于概率思想的简单有效的分类模型,能够给出容易理解的概率解释 sklearn.naive_bayes 神经网络 具有强大的拟合能力,可疑用于拟合,分类等,它有多个增强版本,如递神经网络,卷积神经网络,自编吗器等,这些是深度学习的模型基础 Keras 逻辑回归 比较基础的线性分类模型,很多时候是简单有效的选择 sklearn.linear_model 随机森林 思想跟决策树类似,精度通常比决策树要高,缺点是由于随机性, 丧失了决策树的可解释性 sklearn.ensemble python建模的步骤: 建立一个对象(这个对象是空白的,需要进一步训练) 然后,我们要设置模型的参数 接着就是通过fit()方法对模型进行训练 最后通过predict()方法预测结果 对模型的评估score()方法等 聚类分析 常用聚类分析算法 与分类不同,聚类分析是在没有给定划分类别的情况下,根据数据相似度进行样本分组的一种方法.与分类模型需要使用有类标记样本构成的训练数据不同,聚类模型可疑建立在吴磊标记的数据上

聚类算法 简介 聚类就是对大量 未知标注的数据集 ，按照数据 内部存在的数据特征 将数据集划分为多个不同的类别，使类别内的数据比较相似，类别之间的数据相似度比较小； 属于无监督学习 。 聚类算法的重点是计算样本项之间的 相似度 ，有时候也称为样本间的 距离 相似度/距离 闵可夫斯基距离 \[ dist(X,Y)=\quad\sqrt[p]{\sum_{i=1}^{n}{|x_i-y_i|^p}} \] \[ 其中X=(x_1,x_2,...,x_n),Y=(y_1,y_2,...,y_n) \] 当p是1的时候为哈曼顿距离(Manhattan)/城市距离： \[ dist(X,Y)=\sum_{i=1}^{n}{|x_i-y_i|} \] 当p为2的时候为欧式距离(Euclidean)： \[ E\_dist(X,Y)=\sqrt{\sum_{i=1}^{n}{|x_i-y_i|^2}} \] 当p为无穷大的时候是切比雪夫距离(Chebyshew)： \[ C\_dist(X,Y)=max(|x_i-y_i|) \] 有数学性质可得，当p为无穷大时，有如下： \[ dist(X,Y)=\quad\sqrt[p]{\sum_{i=1}^{n}{|x_i-y_i|^p}} \] \[ \leq\quad\sqrt[p]{n\times max(|x_i-y_i|^p)}=max(|x

Hierarchical Clustering）是对给定数据集在不同层次进行划分，形成树形的聚类结构，直到满足某种停止条件为止。数据集的划分可采用自底向上或自顶向下的划分策略。 1、 AGNES 1）最小距离single/word-linkage（SL聚类） 2）最大距离complete-linkage（CL聚类） 3）平均距离average-linkage（AL聚类） 4）中值距离median-linkage AL更能消除个别偏离样本对结果的干扰。 2、分裂的层次聚类算法DIANA c中计算两两样本之间的距离，找出距离最远的两个样本a、b； a、b分配到不同的类簇c1、c2中； c中剩余的其他样本分别和a、b的距离，若dist(a)<dist(b)，则将样本分入c1中，否则分入c2中。 /分裂点的选择不太容易； /分裂点的操作不能进行撤销； O(t*m 2 )，t为迭代次数，m为样本数量。 3、平衡迭代削减聚类法BIRCH 1）扫描数据集，动态建立一棵CF-Tree存放在内存中； 2）若内存不够，则增大阈值T，在原树的基础上构建一棵比较小的树； 3）对CF-Tree叶节点使用全局性的聚类算法如K-means等，以消除由于样本读入顺序导致的不合理的树结构，改进聚类质量。 Cluster Feature指的是一个满足线性关系的三元组（N,LS,SS），其中： CF