参考:http://licstar.net/archives/262
参考的博客略旧,根据博客内容调整了处理过程
第一步:下载语料
最新的:http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
第二步:抽取正文
- 下载 Wikipedia Extractor:https://github.com/attardi/wikiextractor
安装 Wikipedia Extractor:
sudo python setup.py install
抽取正文:
python WikiExractorPath/WikiExtractor.py -b 1000M -o extracted WikiDataPath/zhwiki-latest-pages-articles.xml.bz2
得到的文件默认在当前路径下的,./extracted/AA/下
第三步:繁简转换
- 下载 OpenCC:https://github.com/BYVoid/OpenCC
安装OpenCC:
make
sudo make install繁简转换:
opencc -i wiki_00 -o wiki_00_chs -c OpenCCPath/data/config/t2s.json
opencc -i wiki_01 -o wiki_01_chs -c OpenCCPath/data/config/t2s.json
opencc -i wiki_02 -o wiki_02_chs -c OpenCCPath/data/config/t2s.json
opencc -i wiki_03 -o wiki_03_chs -c OpenCCPath/data/config/t2s.json
第二步得到多少个wiki_xx就处理多少次
遇到的问题:Could NOT find Doxygen (missing: DOXYGEN_EXECUTABLE)
解决:
sudo apt-get install doxygen
得到的结果中,title就是搜索关键词,也就是词库
来源:CSDN
作者:GZGlenn
链接:https://blog.csdn.net/hubin232/article/details/80784756