api分词 es java java分词器比较好

本文的目标有两个：

1、学会使用11大Java开源中文分词器

2、对比分析11大Java开源中文分词器的分词效果

本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。

11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口：

/*** 获取文本的所有分词结果, 对比不同分词器结果

*@author杨尚川*/

public interfaceWordSegmenter {/*** 获取文本的所有分词结果

*@paramtext 文本

*@return所有的分词结果，去除重复*/

default public Setseg(String text) {returnsegMore(text).values().stream().collect(Collectors.toSet());

}/*** 获取文本的所有分词结果

*@paramtext 文本

*@return所有的分词结果，KEY 为分词器模式，VALUE 为分词器结果*/

public MapsegMore(String text);
}

从上面的定义我们知道，在Java中，同样的方法名称和参数，但是返回值不同，这种情况不可以使用重载。

这两个方法的区别在于返回值，每一个分词器都可能有多种分词模式，每种模式的分词结果都可能不相同，第一个方法忽略分词器模式，返回所有模式的所有不重复分词结果，第二个方法返回每一种分词器模式及其对应的分词结果。

在这里，需要注意的是我们使用了Java8中的新特性默认方法，并使用stream把一个map的value转换为不重复的集合。

下面我们利用这11大分词器来实现这个接口：

1、word分词器

@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
}returnmap;
}private staticString seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
StringBuilder result= newStringBuilder();for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
result.append(word.getText()).append(" ");
}returnresult.toString();
}
2、Ansj分词器
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
StringBuilder result= newStringBuilder();for(Term term : BaseAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("BaseAnalysis", result.toString());
result.setLength(0);for(Term term : ToAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("ToAnalysis", result.toString());
result.setLength(0);for(Term term : NlpAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("NlpAnalysis", result.toString());
result.setLength(0);for(Term term : IndexAnalysis.parse(text)){
result.append(term.getName()).append(" ");
}
map.put("IndexAnalysis", result.toString());returnmap;
}

3、Stanford分词器

private static final StanfordCoreNLP CTB = new StanfordCoreNLP("StanfordCoreNLP-chinese-ctb");private static final StanfordCoreNLP PKU = new StanfordCoreNLP("StanfordCoreNLP-chinese-pku");private static final PrintStream NULL_PRINT_STREAM = new PrintStream(new NullOutputStream(), false);public MapsegMore(String text) {
Map map = new HashMap<>();
map.put("Stanford Beijing University segmentation", seg(PKU, text));
map.put("Stanford Chinese Treebank segmentation", seg(CTB, text));returnmap;
}private staticString seg(StanfordCoreNLP stanfordCoreNLP, String text){
PrintStream err=System.err;
System.setErr(NULL_PRINT_STREAM);
Annotation document= newAnnotation(text);
stanfordCoreNLP.annotate(document);
List sentences = document.get(CoreAnnotations.SentencesAnnotation.class);
StringBuilder result= newStringBuilder();for(CoreMap sentence: sentences) {for (CoreLabel token: sentence.get(CoreAnnotations.TokensAnnotation.class)) {
String word= token.get(CoreAnnotations.TextAnnotation.class);;
result.append(word).append(" ");
}
}
System.setErr(err);returnresult.toString();
}

4、FudanNLP分词器

private static CWSTagger tagger = null;static{try{
tagger= new CWSTagger("lib/fudannlp_seg.m");
tagger.setEnFilter(true);
}catch(Exception e){
e.printStackTrace();
}
}
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put("FudanNLP", tagger.tag(text));returnmap;
}

5、Jieba分词器

private static final JiebaSegmenter JIEBA_SEGMENTER = newJiebaSegmenter();
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put("INDEX", seg(text, SegMode.INDEX));
map.put("SEARCH", seg(text, SegMode.SEARCH));returnmap;
}private staticString seg(String text, SegMode segMode) {
StringBuilder result= newStringBuilder();for(SegToken token : JIEBA_SEGMENTER.process(text, segMode)){
result.append(token.word.getToken()).append(" ");
}returnresult.toString();
}

6、Jcseg分词器

private static final JcsegTaskConfig CONFIG = newJcsegTaskConfig();private static final ADictionary DIC =DictionaryFactory.createDefaultDictionary(CONFIG);static{
CONFIG.setLoadCJKSyn(false);
CONFIG.setLoadCJKPinyin(false);
}
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));returnmap;
}private String segText(String text, intsegMode) {
StringBuilder result= newStringBuilder();try{
ISegment seg= SegmentFactory.createJcseg(segMode, new Object[]{newStringReader(text), CONFIG, DIC});
IWord word= null;while((word=seg.next())!=null) {
result.append(word.getValue()).append(" ");
}
}catch(Exception ex) {throw newRuntimeException(ex);
}returnresult.toString();
}

7、MMSeg4j分词器

private static final Dictionary DIC =Dictionary.getInstance();private static final SimpleSeg SIMPLE_SEG = newSimpleSeg(DIC);private static final ComplexSeg COMPLEX_SEG = newComplexSeg(DIC);private static final MaxWordSeg MAX_WORD_SEG = newMaxWordSeg(DIC);
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));returnmap;
}privateString segText(String text, Seg seg) {
StringBuilder result= newStringBuilder();
MMSeg mmSeg= new MMSeg(newStringReader(text), seg);try{
Word word= null;while((word=mmSeg.next())!=null) {
result.append(word.getString()).append(" ");
}
}catch(IOException ex) {throw newRuntimeException(ex);
}returnresult.toString();
}

8、IKAnalyzer分词器

@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put("智能切分", segText(text, true));
map.put("细粒度切分", segText(text, false));returnmap;
}private String segText(String text, booleanuseSmart) {
StringBuilder result= newStringBuilder();
IKSegmenter ik= new IKSegmenter(newStringReader(text), useSmart);try{
Lexeme word= null;while((word=ik.next())!=null) {
result.append(word.getLexemeText()).append(" ");
}
}catch(IOException ex) {throw newRuntimeException(ex);
}returnresult.toString();
}
9、Paoding分词器
private static final PaodingAnalyzer ANALYZER = newPaodingAnalyzer();
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));
map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));returnmap;
}private static String seg(String text, intmode){
ANALYZER.setMode(mode);
StringBuilder result= newStringBuilder();try{
Token reusableToken= newToken();
TokenStream stream= ANALYZER.tokenStream("", newStringReader(text));
Token token= null;while((token = stream.next(reusableToken)) != null){
result.append(token.term()).append(" ");
}
}catch(Exception ex) {throw newRuntimeException(ex);
}returnresult.toString();
}
10、smartcn分词器
private static final SmartChineseAnalyzer SMART_CHINESE_ANALYZER = newSmartChineseAnalyzer();
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put("smartcn", segText(text));returnmap;
}private staticString segText(String text) {
StringBuilder result= newStringBuilder();try{
TokenStream tokenStream= SMART_CHINESE_ANALYZER.tokenStream("text", newStringReader(text));
tokenStream.reset();while(tokenStream.incrementToken()){
CharTermAttribute charTermAttribute= tokenStream.getAttribute(CharTermAttribute.class);
result.append(charTermAttribute.toString()).append(" ");
}
tokenStream.close();
}catch(Exception e){
e.printStackTrace();
}returnresult.toString();
}
11、HanLP分词器
private static final Segment N_SHORT_SEGMENT = new NShortSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);private static final Segment DIJKSTRA_SEGMENT = new DijkstraSegment().enableCustomDictionary(false).enablePlaceRecognize(true).enableOrganizationRecognize(true);
@Overridepublic MapsegMore(String text) {
Map map = new HashMap<>();
map.put("标准分词", standard(text));
map.put("NLP分词", nlp(text));
map.put("索引分词", index(text));
map.put("N-最短路径分词", nShort(text));
map.put("最短路径分词", shortest(text));
map.put("极速词典分词", speed(text));returnmap;
}private staticString standard(String text) {
StringBuilder result= newStringBuilder();
StandardTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));returnresult.toString();
}private staticString nlp(String text) {
StringBuilder result= newStringBuilder();
NLPTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));returnresult.toString();
}private staticString index(String text) {
StringBuilder result= newStringBuilder();
IndexTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));returnresult.toString();
}private staticString speed(String text) {
StringBuilder result= newStringBuilder();
SpeedTokenizer.segment(text).forEach(term->result.append(term.word).append(" "));returnresult.toString();
}private staticString nShort(String text) {
StringBuilder result= newStringBuilder();
N_SHORT_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));returnresult.toString();
}private staticString shortest(String text) {
StringBuilder result= newStringBuilder();
DIJKSTRA_SEGMENT.seg(text).forEach(term->result.append(term.word).append(" "));returnresult.toString();
}
现在我们已经实现了本文的第一个目的：学会使用11大Java开源中文分词器。
最后我们来实现本文的第二个目的：对比分析11大Java开源中文分词器的分词效果，程序如下：
public static Map>contrast(String text){
Map> map = new LinkedHashMap<>();
map.put("word分词器", newWordEvaluation().seg(text));
map.put("Stanford分词器", newStanfordEvaluation().seg(text));
map.put("Ansj分词器", newAnsjEvaluation().seg(text));
map.put("HanLP分词器", newHanLPEvaluation().seg(text));
map.put("FudanNLP分词器", newFudanNLPEvaluation().seg(text));
map.put("Jieba分词器", newJiebaEvaluation().seg(text));
map.put("Jcseg分词器", newJcsegEvaluation().seg(text));
map.put("MMSeg4j分词器", newMMSeg4jEvaluation().seg(text));
map.put("IKAnalyzer分词器", newIKAnalyzerEvaluation().seg(text));
map.put("smartcn分词器", newSmartCNEvaluation().seg(text));returnmap;
}public static Map>contrastMore(String text){
Map> map = new LinkedHashMap<>();
map.put("word分词器", newWordEvaluation().segMore(text));
map.put("Stanford分词器", newStanfordEvaluation().segMore(text));
map.put("Ansj分词器", newAnsjEvaluation().segMore(text));
map.put("HanLP分词器", newHanLPEvaluation().segMore(text));
map.put("FudanNLP分词器", newFudanNLPEvaluation().segMore(text));
map.put("Jieba分词器", newJiebaEvaluation().segMore(text));
map.put("Jcseg分词器", newJcsegEvaluation().segMore(text));
map.put("MMSeg4j分词器", newMMSeg4jEvaluation().segMore(text));
map.put("IKAnalyzer分词器", newIKAnalyzerEvaluation().segMore(text));
map.put("smartcn分词器", newSmartCNEvaluation().segMore(text));returnmap;
}public static void show(Map>map){
map.keySet().forEach(k->{
System.out.println(k+ " 的分词结果：");
AtomicInteger i= newAtomicInteger();
map.get(k).forEach(v->{
System.out.println("\t" + i.incrementAndGet() + " 、" +v);
});
});
}public static void showMore(Map>map){
map.keySet().forEach(k->{
System.out.println(k+ " 的分词结果：");
AtomicInteger i= newAtomicInteger();
map.get(k).keySet().forEach(a->{
System.out.println("\t" + i.incrementAndGet()+ " 、【" + a + "】\t" +map.get(k).get(a));
});
});
}public static voidmain(String[] args) {
show(contrast("我爱楚离陌"));
showMore(contrastMore("我爱楚离陌"));
}

运行结果如下：

********************************************word分词器 的分词结果：1、我 爱 楚离陌

Stanford分词器 的分词结果：1、我 爱 楚 离陌2、我 爱 楚离陌

Ansj分词器 的分词结果：1、我 爱 楚离 陌2、我 爱 楚 离 陌

HanLP分词器 的分词结果：1、我 爱 楚 离 陌

smartcn分词器 的分词结果：1、我 爱 楚 离 陌

FudanNLP分词器 的分词结果：1、我 爱楚离陌

Jieba分词器 的分词结果：1、我爱楚 离 陌

Jcseg分词器 的分词结果：1、我 爱 楚 离 陌

MMSeg4j分词器 的分词结果：1、我爱 楚 离 陌

IKAnalyzer分词器 的分词结果：1、我 爱 楚 离 陌********************************************

********************************************word分词器 的分词结果：1、【全切分算法】 我 爱 楚离陌2、【双向最大最小匹配算法】 我 爱 楚离陌3、【正向最大匹配算法】 我 爱 楚离陌4、【双向最大匹配算法】 我 爱 楚离陌5、【逆向最大匹配算法】 我 爱 楚离陌6、【正向最小匹配算法】 我 爱 楚离陌7、【双向最小匹配算法】 我 爱 楚离陌8、【逆向最小匹配算法】 我 爱 楚离陌

Stanford分词器 的分词结果：1、【Stanford Chinese Treebank segmentation】 我 爱 楚离陌2、【Stanford Beijing University segmentation】 我 爱 楚 离陌

Ansj分词器 的分词结果：1、【BaseAnalysis】 我 爱 楚 离 陌2、【IndexAnalysis】 我 爱 楚 离 陌3、【ToAnalysis】 我 爱 楚 离 陌4、【NlpAnalysis】 我 爱 楚离 陌

HanLP分词器 的分词结果：1、【NLP分词】 我 爱 楚 离 陌2、【标准分词】 我 爱 楚 离 陌3 、【N-最短路径分词】 我 爱 楚 离 陌4、【索引分词】 我 爱 楚 离 陌5、【最短路径分词】 我 爱 楚 离 陌6、【极速词典分词】 我 爱 楚 离 陌

smartcn分词器 的分词结果：1、【smartcn】 我 爱 楚 离 陌

FudanNLP分词器 的分词结果：1、【FudanNLP】 我 爱楚离陌

Jieba分词器 的分词结果：1、【SEARCH】 我爱楚 离 陌2、【INDEX】 我爱楚 离 陌

Jcseg分词器 的分词结果：1、【简易模式】 我 爱 楚 离 陌2、【复杂模式】 我 爱 楚 离 陌

MMSeg4j分词器 的分词结果：1、【SimpleSeg】 我爱 楚 离 陌2、【ComplexSeg】 我爱 楚 离 陌3、【MaxWordSeg】 我爱 楚 离 陌

IKAnalyzer分词器 的分词结果：1、【智能切分】 我 爱 楚 离 陌2、【细粒度切分】 我 爱 楚 离 陌********************************************