分词技术

哈工大LTP语言分析:分词、词性标注、句法分析等

自闭症网瘾萝莉.ら 提交于 2019-11-27 00:43:53
1. LTP介绍和安装 LTP语言云官网 在线演示 | 语言云(语言技术平台云 LTP-Cloud) 安装LTP的python接口包 $ sudo pip install pyltp 模型文件下载 LTP 3.3 文档 百度云 2. 使用LTP的python接口进行语言分析 #!/usr/bin/env python # coding=utf-8 import sys reload(sys) sys.setdefaultencoding('utf8') import os from pyltp import Segmentor, Postagger, Parser class LtpLanguageAnalysis(object): def __init__(self, model_dir="/home/xxx/ltp-3.4.0/ltp_data/"): self.segmentor = Segmentor() self.segmentor.load(os.path.join(model_dir, "cws.model")) self.postagger = Postagger() self.postagger.load(os.path.join(model_dir, "pos.model")) self.parser = Parser() self.parser.load(os