机器学习十大经典算法-KNN(最近邻学习笔记)

穿精又带淫゛_ 提交于 2020-11-24 09:54:48

机器学习十大经典算法-KNN(最近邻)

最近在学习机器学习,查阅了很多人的博客,受益颇多,因此自己也试着将过学的内容做一个总结,一方面可以提高自己对学习过的算法的认识,再者也希望能帮助到初学者,共勉。。。

1

K-近邻算法原理

K最近邻(kNN,k-NearestNeighbor)分类算法,见名思意:

找到最近的k个邻居(样本),在前k个样本中选择频率最高的类别作为预测类别,什么?怎么那么拗口,没图说个球球,下面举个例子,图解一下大家就会显而易见了,如下图:
机器学习十大经典算法-KNN(最近邻学习笔记)

我们的目的是要预测某个学生在数学课上的成绩。。。
先来说明几个基本概念:图中每个点代表一个样本(在这里是指一个学生),横纵坐标代表了特征(到课率,作业质量),不同的形状代表了类别(即:红色代表A(优秀),绿色代表D(不及格))。

我们现在看(10,20)这个点,它就代表着:在数学课上,某个学生到课率是10%,交作业质量是20分,最终导致了他期末考试得了D等级(不佳)。同理,这6个点也就代表了6个往届学生的平时状态和最终成绩,称之为训练样本。。。。

现在要来实现我们的预测目的了,想象一下现在一学期快过完了,张三同学马上要考试了,他想知道自己能考的怎么样,他在数学老师那里查到了自己的到课率85%,作业质量是90,那么怎么实现预测呢?

张三可以看做是(85,90)这个点–也被称之为测试样本,首先,我们计算张三到其他6位同学(训练样本)的距离,点到点的距离相信我们初中就学了吧(一般用的欧氏距离)。

再选取前K个最近的距离,例如我们选择k=3,那么我们就找出距离最近的三个样本分别属于哪个类别,此例中,自然三个都是A等,所以可预测出张三的数学期末成绩可能是A等(优秀)。倘若李四现在也想进行预测,据他较近的3个中两个D,一个A,那么李四的数学期末成绩被预测为D。这也就是最开始所说的:在前k个样本中选择频率最高的类别作为预测类别。。。

总结其计算步骤如下:

1)算距离:给定测试对象,计算它与训练集中的每个对象的距离
2)找邻居:圈定距离最近的k个训练对象,作为测试对象的近邻
3)做分类:根据这k个近邻归属的主要类别,来对测试对象分类

好了,经过上诉过程,你是否对KNN算法基本思想有了一定了解。
原理就说到这吧。。。

2

K-近邻的优缺点

KNN算法的优点:

1)简单、有效。

2)重新训练的代价较低(类别体系的变化和训练集的变化,在Web环境和电子商务应用中是很常见的)。

3)计算时间和空间线性于训练集的规模(在一些场合不算太大)。

4)由于KNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,KNN方法较其他方法更为适合。

5)该算法比较适用于样本容量比较大的类域的自动分类,而那些样本容量较小的类域采用这种算法比较容易产生误分。

KNN算法缺点:

1)KNN算法是懒散学习方法(lazy learning,基本上不学习),一些积极学习的算法要快很多。

2)类别评分不是规格化的(不像概率评分)。

3)输出的可解释性不强,例如决策树的可解释性较强。

4)该算法在分类时有个主要的不足是,当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的K个邻居中大容量类的样本占多数。

该算法只计算“最近的”邻居样本,某一类的样本数量很大,那么或者这类样本并不接近目标样本,或者这类样本很靠近目标样本。无论怎样,数量并不能影响运行结果。可以采用权值的方法(和该样本距离小的邻居权值大)来改进。

5)计算量较大。目前常用的解决方法是事先对已知样本点进行剪辑,事先去除对分类作用不大的样本。

3

K-近邻算法的Python实现

友情提示:本代码是基于Python2.7的,而且需要提前安装numpy函数库(这是我们常用的强大的科学计算包)。。。。

3.1 首先我们介绍一下代码实现步骤:

1)计算已知类别数据集中的点与当前点之间的距离
2)按距离递增次序排序
3)选取与当前点距离最小的k个点
4)统计前k个点所在的类别出现的频率
5)返回前k个点出现频率最高的类别作为当前点的预测分类

3.2 实现:我们先创建一个名为knn.py的文件,整体实现代码如下:

机器学习十大经典算法-KNN(最近邻学习笔记)
机器学习十大经典算法-KNN(最近邻学习笔记)

近期文章预告:
《通俗讲解为什么神经网络参数初始化不能全0的原因》
《10分钟快速入门pytorch(1)》
《通俗讲解隐马尔科夫模型(HMM)-后向算法》
《通俗讲解隐马尔科夫模型(HMM)-维特比算法》
推荐阅读文章:
一文搞懂k近邻(k-NN)算法(一)
完结篇|一文搞定k近邻算法(k-NN)算法(二)
隐马尔科夫模型-前向算法
投稿请联系微信号qinlibo20133868或者m15840540712@163.com








全是通俗易懂的硬货!只需置顶~欢迎关注交流~

机器学习十大经典算法-KNN(最近邻学习笔记)

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!