T-SNE笔记 无痛理解

浪子不回头ぞ 提交于 2020-02-26 14:46:55

首先看下面两个图,在这里插入图片描述
作左图是t-SNE降维后得到的,有图是PCA 降维后得到的。很明显t-SNE将分的更加清晰,而PCA则重叠严重。
t-sne 是一种非线性的降维方法,一般可视化用的比较多,利用t-sne 可以把高维数据降维到2维或者3维空间上,然后各个数据点跟自己在高维空间上相近的数据点聚集在一起 好比空中漂浮的不同颜色的小球 让它们落地后 再根据原本在空中的聚集情况聚集在一起。
t-sne的原理是在高维空间上非常接近的点在转换到低维空间上相近的可能性会大。
推理过程如下:
首先我们分别计算在高维空间上similarity S(xi,xj),和降维后的similarity S(zi,zj)
图片来自台湾大学李宏毅教授课件在这里插入图片描述
由上图可见,当在高维空间上xi和xi越相近两个点的距离越小越可靠近y轴,假设在sigmiod function 上黄色曲线代表降维前,蓝色曲线代表降维后,当xi和xj距离变大时 其下降速度会非常快,对应到低维空间Z曲线的距离就会很大两者之间的相似度就会减小。
所以定义一个 loss fuction:
在这里插入图片描述
最小化这个Loss Function 后就可以找到Z使得P和Z的分布尽可能接近。Z就是降维后的结果。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!