tf-idf

TF-IDF及其算法 概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的 常用加权技术 。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 字词的重要性随着它在文件中出现的次数成正比增加 ，但同时会 随着它在语料库中出现的频率成反比下降 。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜寻引擎还会使用基于连结分析的评级方法，以确定文件在搜寻结果中出现的顺序。 　　 原理 在一份给定的文件里， 词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被 归一化（分子一般小于分母 区别于IDF） ，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否。） 　　 逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。 　　某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF

前言 在对文本信息处理得过程中，我们会使用分词工具对文本字符串进行分词处理，然后进行频率统计，就会明白文本字符串中关键词的重要性占比。 但是，问题来了，难道，诸如： “所以”、“也许”、“或者”… 这样的词能说明其很重要？答案当然是否！ 所以，TF-IDF算法就来解决了这一问题。 原理 Tf，也就是term frequency，它代表了词的频率（“词频”）； 可以这样计算 ： 词频 = 某词在文章中出现的次数/文章中总词的次数 idf，也就是inverse document frequency，代表了逆文档频率 可以这样计算： 逆文档频率 = log(总文档数/出现该词的文档数） 该词的重要性就是：拿词频*逆文档频率即可。 也就是： 词的重要性 = Tf * idf ps: 关于log，我多介绍一下,请先看这个链接： 对数函数（log） ： 根据log函数的单调性（此时e=a>1），它是单调递增的，于是得出， 当一个词在所有文档中出现的次数越多，其越不重要，也就是诸如“所以”、“也许”、“或者”…会在数据分析的权重中被稀释掉。 实际应用 TfidfVectorizer()这个类实现了该算法 没有表现出“重要性”的代码片 # coding: utf-8 import jieba from sklearn . feature_extraction . text import

近年来，文本的数量呈指数增长，为了能在许多应用中准确地对文本进行分类，需要对机器学习方法有更深入的了解。许多机器学习方法在自然语言处理方面都取得了突破性的结果。这些学习算法的成功取决于其拟合数据中存在的非线性关系的能力。然而，寻找一种普适、通用的文本分类技术对研究人员来说仍然是一个巨大的挑战。 在文本分类专栏系列博客中，我将系统的介绍如何搭建一个完整的文本分类系统，包括数据预处理、主要方法的原理介绍和实现细节、实验结果与分析、网页Demo的构建以及项目文件的组织方式。 目录 1. 问题定义 2. 文本分类系统的类型 3. 文本分类流程 4. 总结 1. 问题定义 在过去的几十年中，文本分类问题在许多实际应用中得到了广泛的研究和解决。 文本分类技术在信息检索、信息过滤、推荐系统、情感分析以及推荐系统等多个领域都有广泛的应用。文本分类任务是指根据已经定义好的类别标签对现有的一段文本进行标注的任务。一般来说，文本数据集包含一系列长短不一的文本片段，如 ,其中 代表一个数据点或文本片段，每个 包含s个句子，每个句子又包含 个单词，每个单词又可以包含 个字符。每个数据点 都用一组 k 个不同离散值索引中的类别标签进行标记。 2. 文本分类系统的类型 按照分类文本规模来划分 1）文档级别：算法输出整个文档对应的类别。 2）段落级别:算法输出一个单独的段落 (文档的一部分)对应的类别。 3

信息检索概述 信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] ... w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D'。 对于这一问题，先后出现了布尔模型、向量模型等各种经典的信息检索模型，它们从不同的角度提出了自己的一套解决方案。布尔模型以集合的布尔运算为基础，查询效率高，但模型过于简单，无法有效地对不同文档进行排序，查询效果不佳。向量模型把文档和查询串都视为词所构成的多维向量，而文档与查询的相关性即对应于向量间的夹角。不过，由于通常词的数量巨大，向量维度非常高，而大量的维度都是0，计算向量夹角的效果并不好。另外，庞大的计算量也使得向量模型几乎不具有在互联网搜索引擎这样海量数据集上实施的可行性。 tf-idf模型 目前，真正在搜索引擎等实际应用中广泛使用的是tf-idf模型。tf-idf模型的主要思想是：如果词w在一篇文档d中出现的频率高，并且在其他文档中很少出现，则认为词w具有很好的区分能力，适合用来把文章d和其他文章区分开来。该模型主要包含了两个因素： 1) 词w在文档d中的词频tf (Term Frequency)，即词w在文档d中出现次数count(w, d)和文档d中总词数size(d)的比值： tf(w,d) =

wiki： https://zh.wikipedia.org/wiki/Tf-idf 参考： https://zhuanlan.zhihu.com/p/31197209 tf-idf （英语： t erm f requency– i nverse d ocument f requency）是一种用于 信息检索 与 文本挖掘 的常用加权技术。tf-idf是一种统计方法，用以评估一字词对于一个文件集或一个 语料库 中的其中一份 文件 的重要程度。字词的重要性随着它在文件中出现的次数成 正比 增加，但同时会随着它在语料库中出现的频率成反比下降。tf-idf加权的各种形式常被 搜索引擎 应用，作为文件与用户查询之间相关程度的度量或评级。除了tf-idf以外，互联网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜索结果中出现的顺序。 在一份给定的文件里， 词频 （term frequency，tf）指的是某一个给定的词语在该文件中出现的频率。这个数字是对 词数 （term count）的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与否。）对于在某一特定文件里的词语 来说，它的重要性可表示为： 以上式子中 是该词在文件 中的出现次数，而分母则是在文件 中所有字词的出现次数之和。 逆向文件频率 （inverse document