一、jieba分词

jieba是一个功能十分强大的中文分词库

一般常用的分词方法有：全模式、精确模式、搜索引擎模式

str = '中国科学院，我想去北京故宫博物馆！'

1. 全模式 

有冗余

all = ' '.join(jieba.cut(str,cut_all=True))

结果：中国 中国科学院 科学 科学院 学院 我 想去 北京 北京故宫 故宫 博物 博物馆

2.精确模式

 常用

acc = ' '.join(jieba.cut(str,cut_all=False))

结果：中国科学院，我 想 去 北京故宫 博物馆

3.搜索引擎模式

 是个词就会分出来，冗余最大

all = ' '.join(jieba.cut_for_search(str))

结果：中国 科学 学院 科学院 中国科学院 ， 我 想 去 北京 故宫 北京故宫 博物 博物馆 ！

4.cut与lcut

jieba.cut生成的是一个生成器，generator，也就是可以通过for循环来取里面的每一个词

word_list= [word for word in jieba.cut(text)]

jieba.lcut 直接生成的就是一个list