本文的目标有两个：
1、学会使用11大Java开源中文分词器
2、对比分析11大Java开源中文分词器的分词效果
本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。
11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口：
Java代码
1. /**
2. * 获取文本的所有分词结果, 对比不同分词器结果
3. * @author 杨尚川
4. */
5. public interface WordSegmenter {
6. /**
7. * 获取文本的所有分词结果
8. * @param text 文本
9. * @return 所有的分词结果，去除重复
10. */
11. default public Set<String> seg(String text) {
12. return segMore(text).values().stream().collect(Collectors.toSet());
13. }
14. /**
15. * 获取文本的所有分词结果
16. * @param text 文本
17. * @return 所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果
18. */
19. public Map<String, String> segMore(String text);
20. }
从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。
这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。
在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。
下面我们利用这11大分词器来实现这个接口：
1、word分词器
Java代码
1. @Override
2. public Map<String, String> segMore(String text) {
3. Map<String, String> map = new HashMap<>();
4. for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
5. map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
6. }
7. return map;
8. }
9. private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
10. StringBuilder result = new StringBuilder();
11. for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
12. result.append(word.getText()).append(" ");
13. }
14. return result.toString();
15. }
2、Ansj分词器
Java代码
1. @Override
2. public Map<String, String> segMore(String text) {
3. Map<String, String> map = new HashMap<>();
4.
5. StringBuilder result = new StringBuilder();
6. for(Term term : BaseAnalysis.parse(text)){
7. result.append(term.getName()).append(" ");
8. }
9. map.put("BaseAnalysis", result.toString());
10.
11. result.setLength(0);
12. for(Term term : ToAnalysis.parse(text)){
13. result.append(term.getName()).append(" ");
14. }
15. map.put("ToAnalysis", result.toString());
16.
17. result.setLength(0);
18. for(Term term : NlpAnalysis.parse(text)){
19. result.append(term.getName()).append(" ");
20. }
21. map.put("NlpAnalysis", result.toString());
22.
23. result.setLength(0);
24. for(Term term : IndexAnalysis.parse(text)){
25. result.append(term.getName()).append(" ");
26. }
27. map.put("IndexAnalysis", result.toString());
28.
29. return map;
30. }
3、Stanford分词器
Java代码
1. private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");
2. private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");
3. private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);
4. public Map<String, String> segMore(String text) {
5. Map<String, String> map = new HashMap<>();
6. map.put("Stanford Beijing University segmentation", seg(PKU, text));
7. map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));
8. return map;
9. }
10. private static String seg(StanfordCoreNLP stanfordCoreNLP, String text){
11. PrintStream err = System.err;
12. System.setErr(NULL_PRINT_STREAM);
13. Annotation document = new Annotation(text);
14. stanfordCoreNLP.annotate(document);
15. List<CoreMap> sentences = document.get(CoreAnnotations.SentencesAnnotation.class);
16. StringBuilder result = new StringBuilder();
17. for(CoreMap sentence: sentences) {
18. for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {
19. String word = token.get(CoreAnnotations.TextAnnotation.class);;
20. result.append(word).append(" ");
21. }
22. }
23. System.setErr(err);
24. return result.toString();
25. }
4、FudanNLP分词器
Java代码
1. private static CWSTagger tagger = null;
2. static{
3. try{
4. tagger = new CWSTagger("lib/fudannlp_seg.m");
5. tagger.setEnFilter(true);
6. }catch(Exception e){
7. e.printStackTrace();
8. }
9. }
10. @Override
11. public Map<String, String> segMore(String text) {
12. Map<String, String> map = new HashMap<>();
13. map.put("FudanNLP", tagger.tag(text));
14. return map;
15. }
5、Jieba分词器
Java代码
1. private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
2. @Override
3. public Map<String, String> segMore(String text) {
4. Map<String, String> map = new HashMap<>();
5. map.put("INDEX", seg(text, SegMode.INDEX));
6. map.put("SEARCH", seg(text, SegMode.SEARCH));
7. return map;
8. }
9. private static String seg(String text, SegMode segMode) {
10. StringBuilder result = new StringBuilder();
11. for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){
12. result.append(token.word.getToken()).append(" ");
13. }
14. return result.toString();
15. }
6、Jcseg分词器
Java代码
1. private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
2. private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);
3. static {
4. CONFIG.setLoadCJKSyn(false);
5. CONFIG.setLoadCJKPinyin(false);
6. }
7. @Override
8. public Map<String, String> segMore(String text) {
9. Map<String, String> map = new HashMap<>();
10.
11. map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
12. map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));
13.
14. return map;
15. }
16. private String segText(String text, int segMode) {
17. StringBuilder result = new StringBuilder();
18. try {
19. ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});
20. IWord word = null;
21. while((word=seg.next())!=null) {
22. result.append(word.getValue()).append(" ");
23. }
24. } catch (Exception ex) {
25. throw new RuntimeException(ex);
26. }
27. return result.toString();
28. }7、MMSeg4j分词器
Java代码
1. private static final Dictionary DIC = Dictionary.getInstance();
2. private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);
3. private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);
4. private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);
5. @Override
6. public Map<String, String> segMore(String text) {
7. Map<String, String> map = new HashMap<>();
8. map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
9. map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
10. map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));
11. return map;
12. }
13. private String segText(String text, Seg seg) {
14. StringBuilder result = new StringBuilder();
15. MMSeg mmSeg = new MMSeg(new StringReader(text), seg);
16. try {
17. Word word = null;
18. while((word=mmSeg.next())!=null) {
19. result.append(word.getString()).append(" ");
20. }
21. } catch (IOException ex) {
22. throw new RuntimeException(ex);
23. }
24. return result.toString();
25. }
8、IKAnalyzer分词器
Java代码
1. @Override
2. public Map<String, String> segMore(String text) {
3. Map<String, String> map = new HashMap<>();
4.
5. map.put("智能切分", segText(text, true));
6. map.put("细粒度切分", segText(text, false));
7.
8. return map;
9. }
10. private String segText(String text, boolean useSmart) {
11. StringBuilder result = new StringBuilder();
12. IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);
13. try {
14. Lexeme word = null;
15. while((word=ik.next())!=null) {
16. result.append(word.getLexemeText()).append(" ");
17. }
18. } catch (IOException ex) {
19. throw new RuntimeException(ex);
20. }
21. return result.toString();
22. }
9、Paoding分词器
Java代码
1. private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();
2. @Override
3. public Map<String, String> segMore(String text) {
4. Map<String, String> map = new HashMap<>();
5.
6. map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));
7. map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));
8.
9. return map;
10. }
11. private static String seg(String text, int mode){
12. ANALYZER.setMode(mode);
13. StringBuilder result = new StringBuilder();
14. try {
15. Token reusableToken = new Token();
16. TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));
17. Token token = null;
18. while((token = stream.next(reusableToken)) != null){
19. result.append(token.term()).append(" ");
20. }
21. } catch (Exception ex) {
22. throw new RuntimeException(ex);
23. }
24. return result.toString();
25. }
10、smartcn分词器
Java代码
1. private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = new SmartChineseAnalyzer();
2. @Override
3. public Map<String, String> segMore(String text) {
4. Map<String, String> map = new HashMap<>();
5. map.put("smartcn", segText(text));
6. return map;
7. }
8. private static String segText(String text) {
9. StringBuilder result = new StringBuilder();
10. try {
11. TokenStream tokenStream = SMART_CHINESE_ANALYZER.tokenStream("text", new StringReader(text));
12. tokenStream.reset();
13. while (tokenStream.incrementToken()){
14. CharTermAttribute charTermAttribute = tokenStream.getAttribute(CharTermAttribute.class);
15. result.append(charTermAttribute.toString()).append(" ");
16. }
17. tokenStream.close();
18. }catch (Exception e){
19. e.printStackTrace();
20. }
21. return result.toString();
22. }11、HanLP分词器
Java代码
1. private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);
2. private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);
3. @Override
4. public Map<String, String> segMore(String text) {
5. Map<String, String> map = new HashMap<>();
6. map.put("标准分词", standard(text));
7. map.put("NLP分词", nlp(text));
8. map.put("索引分词", index(text));
9. map.put("N-最短路径分词", nShort(text));
10. map.put("最短路径分词", shortest(text));
11. map.put("极速词典分词", speed(text));
12. return map;
13. }
14. private static String standard(String text) {
15. StringBuilder result = new StringBuilder();
16. StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
17. return result.toString();
18. }
19. private static String nlp(String text) {
20. StringBuilder result = new StringBuilder();
21. NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
22. return result.toString();
23. }
24. private static String index(String text) {
25. StringBuilder result = new StringBuilder();
26. IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
27. return result.toString();
28. }
29. private static String speed(String text) {
30. StringBuilder result = new StringBuilder();
31. SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));
32. return result.toString();
33. }
34. private static String nShort(String text) {
35. StringBuilder result = new StringBuilder();
36. N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));
37. return result.toString();
38. }
39. private static String shortest(String text) {
40. StringBuilder result = new StringBuilder();
41. DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));
42. return result.toString();
43. }
现在我们已经实现了本文的第一个目的：学会使用11大Java开源中文分词器。
最后我们来实现本文的第二个目的：对比分析11大Java开源中文分词器的分词效果，程序如下：
Java代码
1. public static Map<String, Set<String>> contrast(String text){
2. Map<String, Set<String>> map = new LinkedHashMap<>();
3. map.put("word分词器", new WordEvaluation().seg(text));
4. map.put("Stanford分词器", new StanfordEvaluation().seg(text));
5. map.put("Ansj分词器", new AnsjEvaluation().seg(text));
6. map.put("HanLP分词器", new HanLPEvaluation().seg(text));
7. map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));
8. map.put("Jieba分词器", new JiebaEvaluation().seg(text));
9. map.put("Jcseg分词器", new JcsegEvaluation().seg(text));
10. map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));
11. map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));
12. map.put("smartcn分词器", new SmartCNEvaluation().seg(text));
13. return map;
14. }
15. public static Map<String, Map<String, String>> contrastMore(String text){
16. Map<String, Map<String, String>> map = new LinkedHashMap<>();
17. map.put("word分词器", new WordEvaluation().segMore(text));
18. map.put("Stanford分词器", new StanfordEvaluation().segMore(text));
19. map.put("Ansj分词器", new AnsjEvaluation().segMore(text));
20. map.put("HanLP分词器", new HanLPEvaluation().segMore(text));
21. map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));
22. map.put("Jieba分词器", new JiebaEvaluation().segMore(text));
23. map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));
24. map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));
25. map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));
26. map.put("smartcn分词器", new SmartCNEvaluation().segMore(text));
27. return map;
28. }
29. public static void show(Map<String, Set<String>> map){
30. map.keySet().forEach(k -> {
31. System.out.println(k + " 的分词结果：");
32. AtomicInteger i = new AtomicInteger();
33. map.get(k).forEach(v -> {
34. System.out.println("\t" + i.incrementAndGet() + " 、" + v);
35. });
36. });
37. }
38. public static void showMore(Map<String, Map<String, String>> map){
39. map.keySet().forEach(k->{
40. System.out.println(k + " 的分词结果：");
41. AtomicInteger i = new AtomicInteger();
42. map.get(k).keySet().forEach(a -> {
43. System.out.println("\t" + i.incrementAndGet()+ " 、【" + a + "】\t" + map.get(k).get(a));
44. });
45. });
46. }
47. public static void main(String[] args) {
48. show(contrast("我爱楚离陌"));
49. showMore(contrastMore("我爱楚离陌"));
50. }运行结果如下：
Java代码
1. ********************************************
2. word分词器 的分词结果：
3. 1 、我 爱 楚离陌
4. Stanford分词器 的分词结果：
5. 1 、我 爱 楚 离陌
6. 2 、我 爱 楚离陌
7. Ansj分词器 的分词结果：
8. 1 、我 爱 楚离 陌
9. 2 、我 爱 楚 离 陌
10. HanLP分词器 的分词结果：
11. 1 、我 爱 楚 离 陌
12. smartcn分词器 的分词结果：
13. 1 、我 爱 楚 离 陌
14. FudanNLP分词器 的分词结果：
15. 1 、我 爱楚离陌
16. Jieba分词器 的分词结果：
17. 1 、我爱楚 离 陌
18. Jcseg分词器 的分词结果：
19. 1 、我 爱 楚 离 陌
20. MMSeg4j分词器 的分词结果：
21. 1 、我爱 楚 离 陌
22. IKAnalyzer分词器 的分词结果：
23. 1 、我 爱 楚 离 陌
24. ********************************************
Java代码
1. ********************************************
2. word分词器 的分词结果：
3. 1 、【全切分算法】 我 爱 楚离陌
4. 2 、【双向最大最小匹配算法】 我 爱 楚离陌
5. 3 、【正向最大匹配算法】 我 爱 楚离陌
6. 4 、【双向最大匹配算法】 我 爱 楚离陌
7. 5 、【逆向最大匹配算法】 我 爱 楚离陌
8. 6 、【正向最小匹配算法】 我 爱 楚离陌
9. 7 、【双向最小匹配算法】 我 爱 楚离陌
10. 8 、【逆向最小匹配算法】 我 爱 楚离陌
11. Stanford分词器 的分词结果：
12. 1 、【Stanford Chinese Treebank segmentation】 我 爱 楚离陌
13. 2 、【Stanford Beijing University segmentation】 我 爱 楚 离陌
14. Ansj分词器 的分词结果：
15. 1 、【BaseAnalysis】 我 爱 楚 离 陌
16. 2 、【IndexAnalysis】 我 爱 楚 离 陌
17. 3 、【ToAnalysis】 我 爱 楚 离 陌
18. 4 、【NlpAnalysis】 我 爱 楚离 陌
19. HanLP分词器 的分词结果：
20. 1 、【NLP分词】 我 爱 楚 离 陌
21. 2 、【标准分词】 我 爱 楚 离 陌
22. 3 、【N-最短路径分词】 我 爱 楚 离 陌
23. 4 、【索引分词】 我 爱 楚 离 陌
24. 5 、【最短路径分词】 我 爱 楚 离 陌
25. 6 、【极速词典分词】 我 爱 楚 离 陌
26. smartcn分词器 的分词结果：
27. 1 、【smartcn】 我 爱 楚 离 陌
28. FudanNLP分词器 的分词结果：
29. 1 、【FudanNLP】 我 爱楚离陌
30. Jieba分词器 的分词结果：
31. 1 、【SEARCH】 我爱楚 离 陌
32. 2 、【INDEX】 我爱楚 离 陌
33. Jcseg分词器 的分词结果：
34. 1 、【简易模式】 我 爱 楚 离 陌
35. 2 、【复杂模式】 我 爱 楚 离 陌
36. MMSeg4j分词器 的分词结果：
37. 1 、【SimpleSeg】 我爱 楚 离 陌
38. 2 、【ComplexSeg】 我爱 楚 离 陌
39. 3 、【MaxWordSeg】 我爱 楚 离 陌
40. IKAnalyzer分词器 的分词结果：
41. 1 、【智能切分】 我 爱 楚 离 陌
42. 2 、【细粒度切分】 我 爱 楚 离 陌
43. ********************************************本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
