fasttext

[root]# python -c "import fasttext;print(fasttext)" <module 'fasttext' from '/root/anaconda3/lib/python3.6/site-packages/fasttext/__init__.py'> 其实你只要输入你用的包名，然后print出来这个包名字，接下来就是地址啦'/root/anaconda3/lib/python3.6/site-packages/fasttext [root]# python -c "import fasttext;print(fasttext)" <module 'fasttext' from '/root/anaconda3/lib/python3.6/site-packages/fasttext/__init__.py'> 其实你只要输入你用的包名，然后print出来这个包名字，接下来就是地址啦'/root/anaconda3/lib/python3.6/site-packages/fasttext 来源： https://www.cnblogs.com/python-xiakaibi/p/11669521.html

本篇文章总结了试验fastText跟Word2Vec在embedding上的performance，源于 这篇文章 。 Dataset 训练embedding的数据集有两个，一个是 text8 corpus，一个是nltk自带的 brown corpus。Groundtruth是 questtions-words 文本，可以从 这里 下载。 text8 Corpus Download 1 wget http://mattmahoney.net/dc/text8.zip brown Corpus Download 12345678 import nltk# 从当中选择brown corpus进行下载nltk.download()# Generate brown corpus text filewith open('brown_corp.txt', 'w+') as f: for word in nltk.corpus.brown.words(): f.write('{word} '.format(word=word)) Model Training 用fastText和Word2Vec分别对上述两个数据集进行训练，得到word embeddings。 fastText Training 下载 fastText 源码，对上述两个数据集进行训练。 12 ./fasttext

1. 什么是fastText 英语单词通常有其内部结构和形成⽅式。例如，我们可以从“dog”“dogs”和“dogcatcher”的字⾯上推测它们的关系。这些词都有同⼀个词根“dog”，但使⽤不同的后缀来改变词的含义。而且，这个关联可以推⼴⾄其他词汇。 在word2vec中，我们并没有直接利⽤构词学中的信息。⽆论是在跳字模型还是连续词袋模型中，我们都将形态不同的单词⽤不同的向量来表⽰。例如， “dog”和“dogs”分别⽤两个不同的向量表⽰，而模型中并未直接表达这两个向量之间的关系。鉴于此，fastText提出了⼦词嵌⼊(subword embedding)的⽅法，从而试图将构词信息引⼊word2vec中的CBOW。 这里有一点需要特别注意，一般情况下，使用fastText进行文本分类的同时也会产生词的embedding，即embedding是fastText分类的产物。除非你决定使用预训练的embedding来训练fastText分类模型，这另当别论。 2. n-gram表示单词 word2vec把语料库中的每个单词当成原子的，它会为每个单词生成一个向量。这忽略了单词内部的形态特征，比如：“book” 和“books”，“阿里巴巴”和“阿里”，这两个例子中，两个单词都有较多公共字符，即它们的内部形态类似，但是在传统的word2vec中

fastText 另外两种安装方式 conda install 方式：速度慢 https://anaconda.org/conda-forge/fasttext windows 版本下可以通过whl安装（fasttext‑0.9.1‑cp36‑cp36m‑win32.whl） ，windows 下可以使用这个安装 https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext fastText 训练 import fastText import fastText import pandas as pd import numpy as np from sklearn . metrics import confusion_matrix , precision_recall_fscore_support # 训练 ''' dtrain.txt 和dtest.txt 数据格式 如下： __label__2 中新网 日电 日前 上海 国际 __label__0 两人 被捕 警方 指控 非法 __label__3 中旬 航渡 过程 美军 第一 __label__1 强强 联手 背后 品牌 用户 双赢 ''' model = fastText . train_supervised ( '../data/dtrain.txt' , lr = 0.1 ,