词频统计python 词频统计python代码jieba

转载

墨守成规de网工 2023-07-06 23:07:09

文章标签 词频统计python Python 键值对 mysql sql 文章分类 Python 后端开发

写在前面：

　　前几天的课堂作业有一项是使用jieba库进行中文分词，当时的代码是参考的网上的，自己也没具体去看，趁着空闲我就重新阅读一下代码。

源码：

import jieba
txt = open("房产.csv", "r", encoding='utf-8').read()
words = jieba.lcut(txt)  # 使用精确模式对文本进行分词
counts = {}  # 通过键值对的形式存储词语及其出现的次数

for word in words:
    if len(word) == 1:  # 单个词语不计算在内
        continue
    else:
        counts[word] = counts.get(word, 0) + 1  # 遍历所有词语，每出现一次其对应的值加 1

items = list(counts.items())  # 将键值对转换成列表
items.sort(key=lambda x: x[1], reverse=True)  # 根据词语出现的次数进行从大到小排序

for i in range(1000):
    word, count = items[i]
    import pymysql

    db = pymysql.connect(host="localhost", user="root", password="156132", database="cloud1", charset="utf8mb4")
    cursor = db.cursor()
    sql = "insert into fangchan(word,count) values ('" + str(word) + "','" + str(
        count) + "')"
    try:
        cursor.execute(sql)
        db.commit()
        # print(school_shengfen + "\t" + school_name + "添加成功")
    except:
        print("插入出错")
        db.rollback()

    print("{0:<5}{1:>5}".format(word, count))