适用于NLP自然语言处理的Python:使用Facebook FastText库
原文链接: http://tecdat.cn/?p=8572 在本文中,我们将研究 FastText ,它是用于单词嵌入和文本分类的另一个极其有用的模块。 在本文中,我们将简要探讨FastText库。本文分为两个部分。在第一部分中,我们将看到FastText库如何创建向量表示形式,该向量表示形式可用于查找单词之间的语义相似性。在第二部分中,我们将看到FastText库在文本分类中的应用。 语义相似性的FastText FastText支持 词袋和Skip-Gram模型 。在本文中,我们将实现skip-gram模型,由于这些主题非常相似,因此我们选择这些主题以拥有大量数据来创建语料库。您可以根据需要添加更多类似性质的主题。 第一步,我们需要导入所需的库。 $ pip install wikipedia 导入库 以下脚本将所需的库导入我们的应用程序: from keras.preprocessing.text import Tokenizer from gensim.models.fasttext import FastText import numpy as np import matplotlib.pyplot as plt import nltk from string import punctuation from nltk.corpus import stopwords