tf-idf

这两者计算的都是文档和文本之间的相似度，如果是两个短文本貌似也可以。 1、TF-IDF = TF * IDF 假设文本是“我怎么这么帅气”，4个词，第一个词“我”， 文档1中一共有10个词，“我”有2次，这个词的词频都是2，这就是TF 第一个词“我”，在所有文档中，有“我”这个词的文档数是m，文档总数是n，则IDF = log（n/（m+1）） 所有词叠加就是这个文本和这个文档的相似度 优点：从常理来判断，一个词在这个文档中出现的次数越多，对于这个文档这个词就越重要；一个词在很多文档中都出现过，就说明这个词不能区分这些文档，重要性越低；这就是为何要tf *idf。 TF-IDF还可以用来统计多个文档中每个文档中的重要词。 缺点：分词可能会导致语义的变化；TF的值并没有归一化在一个合理的区间。 2、针对上面的缺点，提出了BM25：实际就是TF-IDF的变形 所以BM25就优化了TF的计算过程， fi词q在文档1中出现的频率。k1 = 2， b = 0.75，后面一项一般为1，dl是文档1的长度，avgdl是所以文档的平均长度，这样的话TF的值就归一化在一个区间了。 3、除了上面计算两个文本相似度的方法之外，还有DSSM、MatchPyramid、BiMPM、词向量 DSSM：把两个文本转换成低位向量，和词向量类似 MatchPyramid：这个比较巧妙了

TF-IDF VS BM25 在ES5.0版本之前，ES一直用的是TF-IDF来进行相关度算分；在5.0后的版本，ES换成了BM25版本。本文将从算法设计的角度，先介绍两个算法，再结合ES来尝试分析一下各自的优缺点。 算法介绍 TF-IDF和BM25都是用作ES中排序依据的核心部分，它们是组成Lucene中“field weight”的部分，“field weight”用来评测的是search term的匹配程度的。 TF-IDF TF-IDF的计算公式如下： score(q, d) = coord(q, d) * queryNorm(q) * \sum_{t\ in\ q} tf(t\ in\ d) * idf(t)^2*boost(t) * norm(t, d) 算法中用到的所有指标如下： TF, Term Frequency,:term 在当前文档中出现的次数 $TF(t\ in\ d) = \sqrt[2]{frequency} $ ；也就是说， 指定的term出现次数越多的文档，TF值越高 . IDF, Inverse Document Frequency, $IDF(t) = 1 + \log(\tfrac{numDocs}{docFreq + 1}) $ , 其中 docFreq 表示term出现的文档数目， numDocs 表示总的文档数。

目录 什么是TF-IDF 怎么计算 举例 例1 例2 代码例子 什么是TF-IDF TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆文本频率指数(Inverse Document Frequency)。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 看看 官网 的解释： Tf-idf stands for term frequency-inverse document frequency, and the tf-idf weight is a weight often used in information retrieval and text mining. This weight is a statistical measure used to evaluate how important a word is to a document in a collection or corpus. The importance increases proportionally to the

　　1、前言 　　　　TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency)，IDF意思是逆向文件频率(Inverse Document Frequency)。 　　　　TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在 语料库 中出现的频率成反比下降。 　　　　TF-IDF加权的各种形式常被 搜索引擎 应用，作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外，因特网上的搜索引擎还会使用基于链接分析的评级方法，以确定文件在搜寻结果中出现的顺序。 　　2、原理 　　　　TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 　　　　TFIDF实际上是：TF * IDF，TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)。 　　　　TF表示词条在文档d中出现的频率。 　　　　IDF的主要思想是：如果包含词条t的文档越少，也就是n越小，IDF越大