一.jieba分词基本用法 1.一般都采用精确分词模式，直接jieba.cut(str1), 2.识别新词默认开启。 3.词性标注jieba.posseg，需要才用全分词精确分词paddle模式搜索引擎模式分词二.精确度调整 &n
转载
2023-07-14 13:40:05
74阅读
MMSeg 中文分词类库MMSEG一个基于最大匹配算法的两种变体的中文单词识别系统。是中文分词中一个常见的、基于词典的分词算法，简单、效果相对较好。由于它的简易直观性，实现起来不是很复杂，运行速度也比较快。
转载
2023-05-24 11:29:30
45阅读
# 使用pkuseg分词后去掉停用词
## 概述
本文将教会你如何使用pkuseg库对文本进行分词，并去掉停用词。pkuseg是一个开源的中文分词工具，它的主要特点是准确性高、速度快、支持多领域分词。
首先，我们需要安装pkuseg库。可以使用以下命令进行安装：
```markdown
pip install pkuseg
```
安装完成后，我们可以开始使用pkuseg对文本进行分词。
原创
2024-01-26 03:26:36
233阅读
整理停用词 去空行和两边的空格#encoding=utf-8
filename = "stop_words.txt"
f = open(filename,"r",encoding='utf-8')
result = list()
for line in f.readlines():
line = line.strip()
if not len(line):
con
转载
2024-01-12 08:59:52
294阅读
# Python 中的 groupby 方法及去重应用
在数据处理和分析中，经常会遇到需要对数据进行分组和去重的情况。Python 的 `itertools.groupby` 和 `pandas` 库提供了有效的工具来实现这一目标。通过本文，你将学习如何使用这两个工具实现数据的分组以及去重操作。
## 1. 使用 itertools.groupby
首先，我们来看看 `itertools.g
在处理数据时，尤其是使用 Python 的 `groupby` 方法时，可能会遇到需要去重的问题。本文将以轻松的语气来跟大家分享“python groupby后去重”的解决过程，包括备份策略、恢复流程、灾难场景、工具链集成、迁移方案及最佳实践等内容。
### 备份策略
在进行数据处理前，保障数据的安全是至关重要的。我们建议使用以下的备份流程：
```mermaid
flowchart TD
1. What is TornadoTornado是一个轻量级但高性能的Python web框架，与还有一个流行的Python web框架Django相比。tornado不提供操作数据库的ORM接口及严格的MVC开发模式，但能够提供主要的web server功能。故它是轻量级的；它借助non-blocking and event-driven的I/O模型（epoll或kqueue）实现了一套异步网
转载
2024-07-25 19:45:39
31阅读
安装jiebapip install jieba简单用法结巴分词分为三种模式：精确模式（默认）、全模式和搜索引擎模式，下面对这三种模式分别举例介绍：精确模式import jieba
s = u'我想和女朋友一起去北京故宫博物院参观和闲逛。'cut = jieba.cut(s)
print '【Output】'
print cut
print ','.join(
转载
2023-06-20 10:54:38
260阅读
1.分词import jieba
#全模式 , HMM 代表新词发现模式，一般关闭
seg_list = jieba.cut("我来到北京清华大学",cut_all = True, HMM = False)
我 来到 北京 清华 清华大学 华大 大学
#精确模式
seg_list = jieba.cut("我来到北京清华大学",cut_all = False) #默认是 False
我 来到 北
转载
2023-08-06 13:32:00
122阅读
# Python 中的分组与去重操作
在数据分析和处理的过程中，我们经常会遇到需要对数据进行分组和去重的情况。在 Python 中，我们可以使用 pandas 库来简化这一过程。本文将详细介绍如何使用 pandas 对数据进行分组操作并实现去重，适合初学者学习。
## 流程概述
在进行数据的分组和去重操作时，我们可以遵循以下步骤：
| 步骤 | 说明
原创
2024-09-09 04:28:26
74阅读
python实现分词和词云一、下载相关的资源库1.1 jieba分词1.2 wordcloud二、词云制作2.1 分词2.2 制作词云2.3 运行输出三、踩坑记录 本次制作词云的目的是找出物联网专业职位所需技能的关键词，首先爬取了boss直聘和智联招聘上的物联网专业职位的技术要求，爬取方法参考 链接。 一、下载相关的资源库1.1 jieba分词官网：https://pypi.org/proje
转载
2023-09-24 22:25:30
53阅读
中文分词就是将一个汉字序列切分成一个一个单独的词。例如： 另外还有停用词的概念，停用词是指在数据处理时，需要过滤掉的某些字或词。一、jieba库安装过程见： jieba库的基础与实例：jieba库基础功能1.分词函数jieba.cutimport jieba
for i in jieba.cut("我爱python"):
print(i,end=' ')#利用end参数取消换行
--输出
转载
2023-09-14 16:51:48
43阅读
文章目录1.前言2.简单上手1）安装jieba2)jieba的常用函数示例3）解决paddlepaddle-tiny==1.6.1的安装示例继续3.jieba背后的“黑科技”算法原理 1.前言项目Github的地址：https://github.com/fxsjy/jiebajieba是一个开源的中文分词库。广泛用于文本分析、词云绘制、关键词提取、自然语言处理等领域。并且容易上手，还支持繁体中文
转载
2023-09-18 21:23:04
112阅读
2019-12-12中文文本分词和词云图具体功能介绍与学习代码： import jieba
a="由于中文文本的单词不是通过空格或者标点符号来进行分割"
#jieba.lcut()s是最常用的中文分词函数，用于精准模式，即将字符串分割为等量的中文词组，返回结果是列表类型
print(jieba.lcut(a))
#jieba.lcut(s,cut_all=True):用于全模式，即将字符
转载
2023-06-18 20:31:25
238阅读
一、前言在日常工作或者生活中，有时候会遇到词频分析的场景。如果是要进行词频分析，那么首先需要对句子进行分词，将句子中的单词进行切割并按照词性进行归类。 在Python中有个第三方库叫jieba(结巴)，可以对文章或者语句进行分词。不得不佩服这个库的作者，真是个取名鬼才：)二、分词2.1 安装库jieba库github地址 jieba库官方给出了3中安装库的方式，分别如下：全自动安装： easy_i
转载
2023-09-12 11:10:39
55阅读
jieba中文分词库及应用1.jieba库是优秀的中文分词第三方库。2.jieba库的分词模式2.jieba库的一些操作函数 1.jieba库是优秀的中文分词第三方库。英文文本中，各个单词间本来就有空格将它们隔开，而在中文文本里面，词语和词语之间是相连的，不能通过简单的以空格来切片文章(通过str.split(" ")方法)，因此就需要用到jieba库。2.jieba库的分词模式1.jieba分
转载
2024-05-07 19:51:42
28阅读
写在前面入坑自然语言处理，最基本的就是要做文本挖掘，而首先要做的就是文本的预处理。自然语言处理的主要流程可以表示为： 文本->分句->分词->词性标注->短语分析->句法分析->语义分析->语篇分析->理解分句这部分一般有标点符号分割，便于处理。于是首先要做的就是分词。英文单词天然有空格隔开容易按照空格分词，但是也有时候需要把多个单词做为一
转载
2023-08-15 12:19:29
63阅读
文章目录1.特点2.安装说明安装示例下载：安装：测试：3.算法4.主要功能(1)分词(2)添加自定义词典载入词典调整词典(3)关键词提取一、基于 TF-IDF 算法的关键词抽取二、基于 TextRank 算法的关键词抽取小应用：查看《西游记》这本书的人物关系。(4)词性标注(5)Tokenize：返回词语在原文的起止位置(6)命令行分词 中文分词的工具有很多种，例如HanLP、jieba分词、
转载
2024-06-03 20:41:19
41阅读
特点1，支持三种分词模式： a,精确模式，试图将句子最精确地切开，适合文本分析； b,全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； c,搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。2，
转载
2023-07-07 09:09:32
79阅读
使用jieba库进行分词安装jieba就不说了，自行百度！ import jieba 将标题分词，并转为list seg_list = list(jieba.cut(result.get("title"), cut_all=False)) 所有标题使用空格连接，方便后面做自然语言处理 para = para + " ".join(seg_list) 将分词后的标题（使用空格分割的标题）
转载
2023-08-25 22:56:47
73阅读
