word分词器

word分词是一个Java实现的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。 能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。 同时提供了Lucene、Solr、ElasticSearch插件。 word分词器分词效果评估 主要评估下面7种分词算法： 正向最大匹配算法：MaximumMatching 逆向最大匹配算法：ReverseMaximumMatching 正向最小匹配算法：MinimumMatching 逆向最小匹配算法：ReverseMinimumMatching 双向最大匹配算法：BidirectionalMaximumMatching 双向最小匹配算法：BidirectionalMinimumMatching 双向最大最小匹配算法：BidirectionalMaximumMinimumMatching 所有的双向算法都使用 ngram 来消歧，分词效果评估分别评估 bigram 和 trigram 。 评估采用的测试文本有253 3709行，共2837 4490个字符， 标准文本和测试文本 一行行对应，标准文本中的词以空格分隔，评估标准为严格一致，评估核心代码如下： /** * 分词效果评估 * @param resultText 实际分词结果文件路径 * @param standardText

Java分布式中文分词组件 - word分词 word分词是一个Java实现的分布式的中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。能准确识别英文、数字，以及日期、时间等数量词，能识别人名、地名、组织机构名等未登录词。能通过自定义配置文件来改变组件行为，能自定义用户词库、自动检测词库变化、支持大规模分布式环境，能灵活指定多种分词算法，能使用refine功能灵活控制分词结果，还能使用词性标注、同义标注、反义标注、拼音标注等功能。同时还无缝和Lucene、Solr、ElasticSearch、Luke集成。注意：word1.3需要JDK1.8 API在线文档： word 1.0 API word 1.1 API word 1.2 API 编译好的jar包下载（包含依赖）： word 1.0 word 1.1 word 1.2 Maven依赖： 在pom.xml中指定dependency，可用版本有1.0、1.1、1.2： <dependencies> <dependency> <groupId>org.apdplat</groupId> <artifactId>word</artifactId> <version>1.2</version> </dependency> </dependencies> 分词使用方法： 1、快速体验

本文的目标有两个： 1、学会使用11大Java开源中文分词器 2、对比分析11 大Java开源中文分词器的分词效果 本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。 11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样， 我们先定义一个统一的接口： /** * 获取文本的所有分词结果, 对比不同分词器结果 * @author 杨尚川 */ public interface WordSegmenter { /** * 获取文本的所有分词结果 * @param text 文本 * @return 所有的分词结果，去除重复 */ default public Set<String> seg(String text) { return segMore(text).values().stream().collect(Collectors.toSet()); } /** * 获取文本的所有分词结果 * @param text 文本 * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果 */ public Map<String, String> segMore(String text); } 从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同