python中文文本分析分词并统计词频 python英文文本词频统计

import re


def fre(TargetName, desName):
    '''打开 TargetName 文本，统计总单词数、独特的单词数、单词词频，并写入 desName 文件中'''

    dict = {}  # 存放单词
    number = 0  # 统计文本总单词数
    uniqueNum = 0  # 统计文本不重复的单词的个数
    # 打开文本
    with open(TargetName,'r',encoding='utf-8') as f:
        for line in f: # 逐行读取
            # 使用正则表达式替换除了 字母和空白符 以外的所有其他符号
            line = re.sub(r'[^\w\s-]+', ' ', line)
            word = line.split()  # 将句子分割成单词列表
            for w in word:
                number += 1      # 每遍历一个单词，总单词数就+1
                w = w.lower()  # 单词转换成全小写的形式
                if w not in dict:
                    dict[w] = 1
                    uniqueNum += 1
                else:
                    dict[w] = dict[w]+1
    #格式化打印
    print(f'{"Total words": <20} {number}')
    print(f'{"Unique words": <20} {uniqueNum}')

    # 将词频写入文件
    with open(desName, 'w', encoding='utf8') as f:
        # 先写入总词数、不重复单词数的信息
        f.write(f'{"Total words": <20} {number}\n')
        f.write(f'{"Unique words": <20} {uniqueNum}\n')
        f.write('-----------------------------\n')
        for i in sorted(dict.items(), key=lambda x: x[1], reverse=True):  # 将字典降序排序，并遍历
            f.write(f'{i[0]: <20} {i[1]}\n')
            print(f'{i[0]: <20} {i[1]}')

            
if __name__=="__main__":
    # 要分析的文件的路径
    name = r'C:\blood.txt'
    # 生成的词频的路径
    desName = 'C:\dict.txt'
    
    fre(name,desName)