利用spaCy对中文文本分词和去除停用词处理

转载

mob604756f23a7e 2021-08-03 13:59:59

spaCy简介

spaCy语言模型包含了一些强大的文本分析功能，如词性标注和命名实体识别功能。目前spaCy免费支持的语言有：英文、德语、法语、西班牙语、葡萄语、意大利语和荷兰语，其他的语言也在慢慢的增长。对于spaCy处理中文文本（本文选取了《天龙八部》小说来示例）具体实现过程如下：

1、对文本进行分词处理并去除停用词保存成一个txt

首先，在导入spaCy相关模块后，需要加载中文处理包。然后读取小说数据，对天龙八部小说进行nlp处理，既包括：分词、向量化、词性标注、语法解析和命名实体识别，并对小说用符号“/”进行分隔。最后通过is_stop函数判断分词中的词语是否为停用词，去除掉停用词后把结果写入txt文件中，具体代码如下：

import spacy
import pandas as pd
import time
from spacy.lang.zh.stop_words import STOP_WORDS

nlp = spacy.load('zh_core_web_sm')

def fenci_stopwords(data,newdata1):
    fenci = []
    qc_stopwords =[]

    article = pd.read_table(data,encoding="utf-8")
    start1 = time.time()
    with open(newdata1,'w',encoding='utf-8') as f1: 
        for i in article["天龙八部"]:#分词
            doc = nlp(i)
            result1 = '/'.join([t.text for t in doc])
            fenci.append(result1)

	for j in fenci:#去除停用词   
            words = nlp.vocab[j]    
            if words.is_stop == False:        
                qc_stopwords.append(j)
                result2 = '/'.join(qc_stopwords)
                f1.write(result2)
    end1 = time.time()
    return end1-start1

2、提取文本中所有的人物（去重）并输出成另一份txt

在对天龙八部进行分词和去除停用词处理后，利用nlp函数处理后对文本有属性分类，提取出属性为“PERSON”的词语，写入到另外一份txt文件中：

def quchong(data,newdata2):
    person = []
    start2 = time.time()
    article = pd.read_table(data,encoding="utf-8")
    with open(newdata2,"w",encoding="utf-8") as f2:
        for i in article["天龙八部"]:#分词
            doc = nlp(i)
            for k in doc.ents:
                if k.label_ == "PERSON":
                    person.append(k.text)
                #print(token.text,token.pos_)
                rw = list(set(person))
                rw = "\n".join(rw)
                f2.write(rw)
    end2 = time.time()
    return end2-start2

通过在PowerShell运行该文件，结果如下：
利用spaCy对中文文本分词和去除停用词处理_txt文件
利用spaCy对中文文本分词和去除停用词处理_txt文件_02
利用spaCy对中文文本分词和去除停用词处理_向量化_03