结巴分词器介绍：
jieba 分词下载地址：https://pypi.python.org/pypi/jieba
特点：
1、支持三种分词模式：
精确模式，试图将句子最精确地切开，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
2、支持繁体分词
3、支持自定义词典
Algorithm
1、基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
2、采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
3、对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
分词
jieba.cut方法接受两个输入参数: 1) 第一个参数为需要分词的字符串 2）cut_all参数用来控制是否采用全模式
jieba.cut_for_search方法接受一个参数：需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
注意：待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
jieba.cut以及jieba.cut_for_search返回的结构都是一个可迭代的generator，可以使用for循环来获得分词后得到的每一个词语(unicode)，也可以用list(jieba.cut(…))转化为list
代码示例( 分词 )

#encoding=utf-8
import jieba

seg_list = jieba.cut("我来到北京清华大学",cut_all=True)
print "Full Mode:", "/ ".join(seg_list) #全模式

seg_list = jieba.cut("我来到北京清华大学",cut_all=False)
print "Default Mode:", "/ ".join(seg_list) #精确模式

seg_list = jieba.cut("他来到了网易杭研大厦") #默认是精确模式
print ", ".join(seg_list)

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") #搜索引擎模式
print ", ".join(seg_list)

Output:
【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
【精确模式】: 我/ 来到/ 北京/ 清华大学
【新词识别】：他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

下面我们利用结巴分词器来对文本集中的所有文本进行分词，具体代码如下：

#!/usr/bin/python
#-*- coding: utf-8 -*-

import sys
import os
import jieba
import re
reload(sys)
sys.setdefaultencoding('utf-8')

#对中文文本数据集进行分词
'''注意:
        1、输入的数据集路径必须是基目录/数据集名，数据集下是类别子目录，类别下是文本
        2、停用词表被放在了程序的当前目录下
        3、停用词表是我自己整理的，可以改用别的，或者不去掉停用词
        4、分词结果只包含中文\u4e00-\u9fa5，无其他特殊符合和数字
        5、如遇编码问题，请自行百度
'''

#对文本进行分词
def segment(textpath,savepath):
    global stopwords
    content=open(textpath,'r+').read()#读取文本内容
    writer=open(savepath,'w+')
    #content=content.decode('gb2312','ignore')#将gbk编码转为unicode编码
    #content=content.encode('utf-8','ignore')#将unicode编码转为utf-8编码
    #print content  #打印文本内容
    text=jieba.cut(content)#分词,默认是精确分词
    #print "/".join(text)
    for word in text:
        #通过合并所有中文内容得到纯中文内容
        word=''.join(re.findall(u'[\u4e00-\u9fa5]+', word))#去掉不是中文的内容
        word=word.strip()
        if(len(word)!=0 and not stopwords.__contains__(word)):#去掉在停用词表中出现的内容
            #print word
            writer.write(word+"\n")
    writer.flush()
    writer.close()
    print savepath+"保存好了"

#对整个文本集进行分词
def main(dir_name,tar_name):    
    if(not os.path.exists(tar_name)):
        os.mkdir(tar_name)#不存在则新建目录
    classes=os.listdir(dir_name)#该目录下的子目录，即各个类别
    for c in classes:
        #print c #类别
        label=dir_name+"/"+c
        files=os.listdir(label)#获取目录下的所有文本文件
        tarLabel=tar_name+"/"+c#将文本保存在相应类别的目录下
        if(not os.path.exists(tarLabel)):
            os.mkdir(tarLabel)
        #print files
        for f in files:
            #print f         #打印文件名
            textpath=label+"/"+f
            savepath=tarLabel+"/"+f
            segment(textpath,savepath)

dir_name = u"F:\\各种数据集\\复旦语料库\\train"#数据集路径
tar_name=u"trainSegment"#保存路径
stopwords = [line.strip() for line in open('cstopword.dic').readlines() ]#读取中文停用词表
main(dir_name,tar_name)