import jiebaimport jieba.posseg as psegfrom nlp.db import MongoClientfrom nlp.config import *class Tokenizer(obje() # 去停词
原创
2022-10-28 12:08:01
176阅读
python采用第三方库进行中文分词，本文章只是记录文章。1.需要下载第三方库jieba： cmd: pip install jieba2.为了方便测试，在同级目录下，准备一个txt格式文件，文件名随意，这里我也是随便取的：  
转载
2023-09-29 20:51:16
106阅读
写在前面： 前几天的课堂作业有一项是使用jieba库进行中文分词，当时的代码是参考的网上的，自己也没具体去看，趁着空闲我就重新阅读一下代码。源码：import jieba
txt = open("房产.csv", "r", encoding='utf-8').read()
words = jieba.lcut(txt) # 使用精确模式对文本进行分词
counts = {} # 通过键值对的
转载
2023-07-06 23:07:09
316阅读
老师教给我，要学骆驼，沉得住气的动物。看它从不着急，慢慢地走，慢慢地嚼，总会走到的，总会吃饱的。———《城南旧事》目录一、前言Python 简介Python 特点二、基本环境配置三、分析Part1介绍Part2词频分析对象——《“十四五”规划》Part3文本预处理Part4中文分词——全都是“干货”1添加自定义词库（特色词库）2进行分词3去除停用词4按需处理其他词语Part5生成词频统计
转载
2023-07-10 19:59:21
329阅读
Python——词频统计英文词频统计调用内置collections库手撕代码法中文词频统计单个文件示例：《红楼梦》多文件批量操作四大名著拓展延伸：词云图本文代码编译环境及库版本更新日志 英文词频统计调用内置collections库使用collections库的collections.Counter(）方法进行词频统计import collections
songs = 'You raise me
转载
2023-09-11 11:33:16
116阅读
# 使用Python和Jieba进行词频统计排序
在文本分析中，词频统计是了解文本内容的基础步骤之一。今天，我们将学习如何使用Python的Jieba库进行中文分词，并对分词结果进行词频统计和排序。本文将介绍整个流程并提供详细的代码示例。
## 整体流程
在实施这个项目之前，我们可以将整个流程拆分为以下几个步骤：
| 步骤 | 描述
正则表达式阅读本文需要6分钟Python正则表达式正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。re.match函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。函数语法：re.match(patte
用的是ipython notebook1.框架是打开文件，写入文件for line in open(in_file):
continue
out = open(out_file, 'w')
out.write()```2.简单的统计词频大致模板def count(in_file,out_file):
#读取文件并统计词频
word_count={}#统计词频的字典
for line in open
转载
2023-07-01 11:44:26
166阅读
1.下载安装jieba库利用镜像下载安装pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba2. jieba库作用与功能概述jieba库利用中文词库，对中文文本，通过分词，获得单个的词语jieba库常用函数：2.1 精确模式（把文本精确的切分开，不存在冗余单词）2.1.1 jieba.cut(“菜篮子里面团着一条蛇”) 返回一个
转载
2023-08-09 19:25:55
188阅读
# 使用 Python Jieba 分词进行词频统计
在自然语言处理 (NLP) 中，分词是非常重要的一环。中文的分词与英文的空格分割不同，中文的单词通常没有显式的分隔符，因此需要使用分词工具来对文本进行处理。在 Python 中，Jieba 是一个非常流行的中文分词库，它不仅支持基本的分词功能，还可以进行关键词提取、词频统计等。本文将通过一个示例来说明如何使用 Jieba 进行分词和词频统计，
原创
2024-08-29 07:32:21
467阅读
import jieba
def getText():
txt=open("hamlet.txt","r").read()
txt=txt.lower()
for ch in '|"#$%&()*+,-./:;<>+?@[\\]^_{|}~':
txt=txt.replace(ch," ")
return txt
harmTxt=
转载
2023-06-04 21:10:44
178阅读
Python3 下载Python3 最新源码，二进制文档，新闻资讯等可以在 Python 的官网查看到： Python 官网：https://www.python.org/ 你可以在以下链接中下载 Python 的文档，你可以下载 HTML、PDF 和 PostScript 等格式的文档。 Python文档下载地址：https://www.python.org/doc/Python 安装Pytho
转载
2023-07-09 22:30:56
156阅读
这一节主要介绍Python3的关键字。首先，通过使用import keyword我们可以看到python3的关键字列表。下面我们来看看这33个关键字的各种解释。True, FalseTrue和False主要是比较运算和逻辑运算的结果体现。例如NoneNone在Python中是一个特殊的实例()，代表着缺失值或者空值。当函数没有return声明的时候，函数将会返回Noneand, or, not只有
转载
2023-11-21 19:00:17
24阅读
简单统计一个小说中哪些个汉字出现的频率最高：import codecs
import matplotlib.pyplot as plt
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['FangSong'] # 指定默认字体
mpl.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号
转载
2023-05-31 12:08:52
124阅读
0 引言在读一篇文章和读一本经典名著时，我们常常想统计出来每个词汇出现的次数及该词汇的出现频率，其实我们可以利用Python中的第三方库jieba库来实现。1 问题通过对一篇文章和一本书中的词频统计，我们可以知道什么事物或是谁在该文章或该著作作者用了更多的文笔来提到和描述它，2 方法encoding=’ANSI’:将打开的文本格式设为ANSI形式read(size):方法...
原创
2022-06-18 00:42:38
771阅读
做统计机器学习经常需要统计，这里我来分享一下怎样统计一个list里面每个字符串的频率：fr
原创
2022-08-12 08:23:34
188阅读
上期文章我们分享了NLP 自然语言处理的基础知识，本期我们分享几个比较流行的中文分词库，且这些中文分词库绝大部分是Java程序编写的，在linux系统上很容易使用，但是在windows环境下，如何使用python来使用这些分词库？？ HanLPHanLP中文分词包HanLP 是由一系列模型与算法组成的 Java 工具包，目标是普及自然语言处理在生产环境中的应用。HanLP 具备功能完
转载
2024-07-24 11:09:10
27阅读
中文文本需要通过分词获得单个的词语，jieba库是优秀的中文分词第三方库，jieba提供三种分词模式。 jieba分词的三种模式 精确模式：把文本精确的切分开，不存在冗余单词 全模式：把文本中所有可能的词语都扫描出来，有冗余 搜索引擎模式：在精确模式基础上，对长词再次切分 代码示例： import ...
转载
2021-07-24 19:32:00
1445阅读
2评论
中文分词一般使用jieba分词1.安装1 pip install jieba2.大致了解jieba分词包括jieba分词的3种模式 全模式1 import jieba
2
3 seg_list = jieba.cut("我来到北京清华大学", cut_all=True, HMM=False)
4 print("Full Mode: " + "/ ".join(seg_list)) #
转载
2023-07-03 19:04:48
98阅读
测试文章【无尽武装】与字数【557万】分析：1、环境需求：【python】【jieba】【wordcloud】【matplotlib】我这里提供了【wordcloud】与【matplotlib】，【jieba如果使用失败请查看我【python爬虫】文章里的解ot as p
原创
2022-03-03 16:51:17
164阅读
