tf-idf

计算文本的权重向量，有个很有效的权重方案：TF-IDF权重策略。TF-IDF含义是词频逆文档频率，指的是，如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或短语具有很好的分类区分能力，适合用来分类。简单的说，TF-IDF(词频-逆文档频率)，它可以反映出语料库中 某篇文档中某个词 的重要性。目前所知应用是用来计算文档相似性（ TF-IDF与余弦相似性的应用（二）：找出相似文章 ） TF-IDF权重公式参见这篇博文： TF-IDF与余弦相似性的应用（一）：自动提取关键词 。由于自己实现代码，在运算时效率很低，所以本文主要讲述 sklearn里面的TF-IDF方法。里面 主要用到了两个函数：CountVectorizer()和TfidfTransformer()。CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵，矩阵元素weight[i][j] 表示j词在第i个文本下的词频，即各个词语出现的次数；通过get_feature_names()可看到所有文本的关键字，通过toarray()可看到词频矩阵的结果。TfidfTransformer也有个fit_transform函数，它的作用是计算tf-idf值。这里附上一个我初学时用于理解的小例子（python2实现）。 1 # coding:utf-8 2

one-hot 和 TF-IDF是目前最为常见的用于提取文本特征的方法，本文主要介绍两种方法的思想以及优缺点。 1. one-hot 1.1 one-hot编码 　　什么是one-hot编码？one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图： 　　　　　　 上图中我们已经对每个特征进行了普通的数字编码：我们的feature_1有两种可能的取值，比如是男/女，这里男用1表示，女用2表示。那么one-hot编码是怎么搞的呢？我们再拿feature_2来说明： 这里feature_2 有4种取值（状态），我们就用4个状态位来表示这个特征，one-hot编码就是保证每个样本中的单个特征只有1位处于状态1，其他的都是0。 　　　　　 对于2种状态、三种状态、甚至更多状态都是这样表示，所以我们可以得到这些样本特征的新表示： 　　　　　　 one-hot编码将每个状态位都看成一个特征。对于前两个样本我们可以得到它的特征向量分别为 　　　　　 1.2 one-hot在提取文本特征上的应用 　　one hot在特征提取上属于词袋模型（bag of words）。关于如何使用one-hot抽取文本特征向量我们通过以下例子来说明

什么是TF-IDF TF-IDF(term frequency-inverse document frequency)词频-逆向文件频率。在处理文本时，如何将文字转化为模型可以处理的向量呢？TF-IDF就是这个问题的解决方案之一。字词的重要性与其在文本中出现的频率成正比(TF)，与其在语料库中出现的频率成反比(IDF)。 TF TF：词频。TF(w)=(词w在文档中出现的次数)/(文档的总词数) IDF IDF：逆向文件频率。有些词可能在文本中频繁出现，但并不重要，也即信息量小，如is,of,that这些单词，这些单词在语料库中出现的频率也非常大，我们就可以利用这点，降低其权重。IDF(w)=log_e(语料库的总文档数)/(语料库中词w出现的文档数) TF-IDF 将上面的TF-IDF相乘就得到了综合参数：TF-IDF=TF*IDF 如何使用？ 在文本处理中，我们经常遇到将一段话变成向量，以组成矩阵来输入到模型中处理。我们这时就可以用到TF-IDF来做。但是我们需要自己找语料库训练TF-IDF吗？看看 sklearn.feature_extraction.text.TfidfVectorizer 吧~~~ 示例： from sklearn.feature_extraction.text import TfidfVectorizer cv=TfidfVectorizer