【sklearn文本特征提取】词袋模型/稀疏表示/停用词/TF-IDF模型

1. 词袋模型 (Bag of Words, BOW)

文本分析是机器学习算法的一个主要应用领域。然而，原始数据的这些符号序列不能直接提供给算法进行训练，因为大多数算法期望的是固定大小的数字特征向量，而不是可变长度的原始文本。

为了解决这个问题，scikit-learn提供了从文本内容中提取数字特征的常见方法，即：

tokenizing: 标记字符串并为每个可能的token提供整数id，例如使用空白和标点作为token分隔符；(分词标记)
counting: 统计每个文档中出现的token次数；(统计词频)
normalizing: 通过减少大多数样本/文档中都会出现的一般性标记来进行标准化和加权。(标准化/归一化)

在此方案中，特征和样本定义如下：

每个独立token出现的频率（已标准化或未标准化）作为特征。给定文档的所有token频率的向量作为多元样本。

因此，文本语料库可以由矩阵表示，每一行代表一个文本，每一列代表一个token（例如一个单词）。

向量化：将文本集合转换为数字特征向量的一般过程。这种方法（tokenizing，counting和normalizing）称为“词袋”或“n-gram”模型。即只通过单词频率来描述文档，而完全忽略文档中单词的相对位置信息。

2. 稀疏表示

由于大多数文本通常只使用语料库中的很小一部分单词，因此生成的矩阵将具有许多为零的特征值（通常超过99％）。

例如，有一个文本集合，包含一万个文本（邮件等），它使用的词汇表大约为十万个词，而其中每个文档单独使用的词只有100到1000个。

为了能够将这样的矩阵存储在内存中并且加快矩阵/向量的代数运算，实现上通常会使用稀疏表示，在scipy.sparse包中有实现方法。

3. 常用的Vectorizer的用法

CountVectorizer在单个类中同时实现tokenizing和counting：

from sklearn.feature_extraction.text import CountVectorizer

该模型具有许多参数，但是默认值是相当合理的：

vectorizer = CountVectorizer()
vectorizer

CountVectorizer( analyzer='word', binary=False, decode_error='strict', dtype=<class 'numpy.int64'>, encoding='utf-8', input='content', lowercase=True, max_df=1.0, max_features=None, min_df=1, ngram_range=(1, 1), preprocessor=None, stop_words=None, strip_accents=None, token_pattern='(?u)\b\w\w+\b', tokenizer=None, vocabulary=None)

示例：标记和计算简单文本语料库中的词频：

corpus = [
  'This is the first document.',
  'This is the second second document.',
  'And the third one.',
  'Is this the first document?',
]
X = vectorizer.fit_transform(corpus)
X

<4x9 sparse matrix of type '<class 'numpy.int64'>' with 19 stored elements in Compressed Sparse Row format>

其默认参数配置是通过提取单词(至少2个字母)来标记字符串。也可以通过显式请求来查看这一步骤：

analyze = vectorizer.build_analyzer()
analyze("This is a text document to analyze.")

['this', 'is', 'text', 'document', 'to', 'analyze']

在拟合过程中，将由分析器找到的每一项分配一个唯一的整数索引，该索引对应于所得矩阵中的一列。可以按以下方式检索这些列：

vectorizer.get_feature_names()

['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this']

X.toarray()

array([[0, 1, 1, 1, 0, 0, 1, 0, 1], [0, 1, 0, 1, 0, 2, 1, 0, 1], [1, 0, 0, 0, 1, 0, 1, 1, 0], [0, 1, 1, 1, 0, 0, 1, 0, 1]])

从特征名到列索引的反向映射存储在Vectorizer的vocabulary_属性中：

vectorizer.vocabulary_.get('first')

2

因此，在之后对transform方法的调用中，训练语料库中未出现的单词将被完全忽略：

vectorizer.transform(['Something completely new.']).toarray()

array([[0, 0, 0, 0, 0, 0, 0, 0, 0]])

注意，在前一语料库中，第一个文档和最后一个文档具有完全相同的词，因此被编码为同样的向量。但这就失去了最后一个文档是疑问句的信息。为了保留一些局部信息，我们可以提取单词的1-gram（单个单词）以外的2-gram信息：

bigram_vectorizer = CountVectorizer(ngram_range=(1, 2), token_pattern=r'\b\w+\b', min_df=1)
analyze = bigram_vectorizer.build_analyzer()
analyze('Bi-grams are cool!') == (['bi', 'grams', 'are', 'cool', 'bi grams', 'grams are', 'are cool'])

因此，这个Vectorizer提取的词汇量要更大，而且现在可以解决局部定位模式中的编码歧义：

X_2 = bigram_vectorizer.fit_transform(corpus).toarray()
X_2

array([[0, 0, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 1, 1, 0], [0, 0, 1, 0, 0, 1, 1, 0, 0, 2, 1, 1, 1, 0, 1, 0, 0, 0, 1, 1, 0], [1, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 1, 1, 1, 0, 0, 0], [0, 0, 1, 1, 1, 1, 0, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 1, 0, 1]])

特别是疑问句形式 “Is this” 仅出现在最后一个文档中：

feature_index = bigram_vectorizer.vocabulary_.get('is this')
X_2[:, feature_index]

array([0, 0, 0, 1])

4. 停用词

停用词是指诸如“and”，“the”，“him”之类的词，它们被认为在表示文本内容方面没有提供任何信息，可以将其删除以避免其影响预测效果。但是，有时候，类似的单词对于预测很有用，例如在对写作风格或语言个性进行分类时。

请谨慎选择停用词列表。通用的停用词列表也可能包含对某些特定任务（例如计算机领域）非常有用的词。

此外，还应该确保停用词列表的预处理和标记化与Vectorizer中使用的预处理和标记化相同。 CountVectorizer的默认标记器将单词"we've"分为we和ve，因此，如果“we've”在stop_words中，而ve则没有，则在转换后的文本中会保留ve。我们的Vectorizer将尝试识别并警告某些不一致之处。

TF-IDF模型

在大型文本语料库中，会经常出现一些单词（例如英语中的“ the”，“ a”，“ is”），而这些单词几乎不包含关于文档实际内容的有意义的信息。如果我们将直接计数数据不加处理地提供给分类器，那么那些高频词会影响低频但更有意义的词的出现概率。

为了将计数特征重新加权为适合分类器使用的浮点值，通常使用tf–idf变换。

tf表示词频，而tf–idf表示词频乘以逆文档频率：

$\text{tf-idf(t,d)}=\text{tf(t,d)} \times \text{idf(t)}$

TfidfTransformer的默认参数为，TfidfTransformer(norm='l2', use_idf=True, smooth_idf=True, sublinear_tf=False)。

词频，即一个单词在文档中出现的频率，乘以idf：

$\text{idf}(t) = \log{\frac{1 + n}{1+\text{df}(t)}} + 1$

n是文本集中文本总数，df(t)是包含t词的文本数，然后将所得的tf-idf向量通过欧几里得范数归一化：

$v_{norm} = \frac{v}{||v||_2} = \frac{v}{\sqrt{v{_1}^2 + v{_2}^2 + \dots + v{_n}^2}}$

这最初是信息检索的词加权方案，作为搜索引擎结果的排名方法，目前也在文档分类和聚类中广泛应用。

以下各节包含进一步的说明和示例，这些示例说明了如何精确计算tf-idf，以及在scikit-learn的TfidfTransformer和TfidfVectorizer中怎样计算的。与标准教科书的符号稍微不同，idf定义为：

$\text{idf}(t) = \log{\frac{n}{1+\text{df}(t)}}.$

在TfidfTransformer和TfidfVectorizer中设置smooth_idf=False，将“ 1”计数添加到IDF中，而不是IDF的分母中：

$\text{idf}(t) = \log{\frac{n}{\text{df}(t)}} + 1$

这一规范化由TfidfTransformer类实现：

from sklearn.feature_extraction.text import TfidfTransformer

transformer = TfidfTransformer(smooth_idf=False)
transformer

TfidfTransformer(norm='l2', smooth_idf=False, sublinear_tf=False, use_idf=True)

让我们以以下的统计数为例。第一个词出现的概率100％，因此它的出现没有什么代表性。其他两个词仅在不到50％的时间内出现，因此可能更能代表文档的内容：

counts = [[3, 0, 1],
          [2, 0, 0],
          [3, 0, 0],
          [4, 0, 0],
          [3, 2, 0],
          [3, 0, 2]]
tfidf = transformer.fit_transform(counts)
tfidf

<6x3 sparse matrix of type '<class 'numpy.float64'>' with 9 stored elements in Compressed Sparse Row format>

tfidf.toarray()

array([[0.81940995, 0. , 0.57320793], [1. , 0. , 0. ], [1. , 0. , 0. ], [1. , 0. , 0. ], [0.47330339, 0.88089948, 0. ], [0.58149261, 0. , 0.81355169]])

每行均经过单位欧几里得范数计算以进行标准化：

$v_{norm} = \frac{v}{||v||_2} = \frac{v}{\sqrt{v{_1}^2 + v{_2}^2 + \dots + v{_n}^2}}$

例如，我们可以如下计算counts数组中第一个文档中第一项的tf-idf：

$n = 6$

$\text{df}(t)_{\text{term1}} = 6$

$\text{idf}(t)_{\text{term1}} = \log \frac{n}{\text{df}(t)} + 1 = \log(1)+1 = 1$

$\text{tf-idf}_{\text{term1}} = \text{tf} \times \text{idf} = 3 \times 1 = 3$

现在，如果我们对文档中剩余的2个词重复此计算，我们将得到：

$\text{tf-idf}_{\text{term2}} = 0 \times (\log(6/1)+1) = 0$

$\text{tf-idf}_{\text{term3}} = 1 \times (\log(6/2)+1) \approx 2.0986$

原始的tf-idf向量：

$\text{tf-idf}_{\text{raw}} = [3, 0, 2.0986].$

然后，应用欧几里得（L2）范数，我们为文本1获得以下tf-idfs：

$\frac{[3, 0, 2.0986]}{\sqrt{\big(3^2 + 0^2 + 2.0986^2\big)}} = [ 0.819, 0, 0.573].$

此外，默认参数smooth_idf = True将“ 1”添加到分子和分母，就好像看到一个额外的文档恰好包含一次集合中的每个术语一次，从而避免了分母为零的问题：

$\text{idf}(t) = \log{\frac{1 + n}{1+\text{df}(t)}} + 1$

使用此修改，文档1中第3项的tf-idf更改为1.8473：

$\text{tf-idf}_{\text{term3}} = 1 \times \log(7/3)+1 \approx 1.8473$

并且L2归一化的tf-idf变为：

$\frac{[3, 0, 1.8473]}{\sqrt{\big(3^2 + 0^2 + 1.8473^2\big)}} = [0.8515, 0, 0.5243]$

transformer = TfidfTransformer()
transformer.fit_transform(counts).toarray()

array([[0.85151335, 0. , 0.52433293], [1. , 0. , 0. ], [1. , 0. , 0. ], [1. , 0. , 0. ], [0.55422893, 0.83236428, 0. ], [0.63035731, 0. , 0.77630514]])

由fit方法调用计算出的每个特征的权重存储在model属性中：

transformer.idf_

array([1. , 2.25276297, 1.84729786])

由于tf–idf通常用于文本特征，因此还有另一个名为TfidfVectorizer的类，它将CountVectorizer和TfidfTransformer的所有选项组合在一个模型中：

from sklearn.feature_extraction.text import TfidfVectorizer

vectorizer = TfidfVectorizer()
vectorizer.fit_transform(corpus)

<4x9 sparse matrix of type '<class 'numpy.float64'>' with 19 stored elements in Compressed Sparse Row format>

尽管tf–idf归一化通常非常有用，但是在某些情况下，二进制频率标记法可能会提供更好的特性。这可以通过使用CountVectorizer的二进制参数来实现。特别是，某些估计量（例如Bernoulli Naive Bayes）明确地对离散的布尔型随机变量建模。同样，很短的文本可能带有tf–idf值的噪声，而二进制出现信息则更稳定。

通常，调整特征提取参数的最佳方法是使用交叉验证的网格搜索，例如用分类器将特征提取器进行流水线化。