#coding=utf-8
'''
Created on 2017-12-11
jieba的主要功能
1.主要用于中文文本切词，如果碰到英文单词，也会以英文的默认形式切分
2.可以使用collections中的Counter对切词后的list进行一个topN操作获取最频繁词
3.提取关键词，提供了tf-idf和TextRank
切词注意事项:
1.使用jieba切词，如果发现有些词需要合并或者分
转载
2023-08-20 20:41:45
161阅读
jieba安装jieba是一个python开发的中文分词工具 安装方法：全自动安装：进入python安装路径，进入Scripts文件夹，使用easy_install或者pip安装半自动安装：先下载http://pypi.python.org/pypi/jieba/ ，解压后运行python setup.py install手动安装：将jieba目录放置于当前目录或者site-packages目录
转载
2023-12-01 14:47:19
84阅读
基于python中jieba包的中文分词中详细使用(一)01.前言之前的文章中也是用过一些jieba分词但是基本上都是处于皮毛，现在就现有的python环境中对其官方文档做一些自己的理解以及具体的介绍。本文主要内容也是从官网文档中获取。02.jieba的介绍02.1 What
“jieba” (Chinese for “to stutter”)Chiese text segmention:buil
转载
2024-08-22 17:32:09
313阅读
相对于英语使用空格分隔开每个单词，中文是没有固定的分隔符来分开每个词语的，而大部分情况下词语却是进行NLP的基础，故在此使用jieba中文分词来对语句进行分词。jieba分词github上面的说明已经非常详细了，只要稍微有点python基础应该都可以按图索骥的照搬，建议大家照着api把jiaba分词的功能都试一遍，这样比看文字去猜要印象深刻，这里就不再copy过来水字数了<(*￣▽￣*)/
转载
2024-01-02 12:39:46
50阅读
一、jieba功能用法1.cut函数用法jieba.cut(s,cut_all=False,HMM=True) #参数s为字符串；cut_all参数用来控制是否采用全模式；HMM参数为隐马尔科夫模型算法。（注：HMM实际上是一个双重随机过程：底层是马尔科夫模型的概率状态转移过程，另一重是从底层状态到表面观察值的随机过程；实质就是隐藏了状态的马尔科夫模型，模型状态不能直接看见只能观察到由状态到符号的
转载
2024-01-30 21:03:47
162阅读
Python jieba库的介绍与使用一、 jieba库简介与安装 简介：jieba库是一个进行中文分词的第三方库。可用来进行关键字搜索。 安装：在python3环境下输入：pip install jieba进行安装。 二、jieba库有三种分词模式精确模式：试图将句子最精确地切开，适合文本分析(默认是精确模式)；全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，有冗余，不能解决歧义；
转载
2023-08-11 17:11:44
174阅读
jieba库，它是Python中一个重要的第三方中文分词函数库。1.jieba的下载由于jieba是一个第三方函数库，所以需要另外下载。电脑搜索“cmd”打开“命令提示符”，然后输入“pip install jieba”，稍微等等就下载成功。（注：可能有些pip版本低，不能下载jieba库，需要手动升级pip至19.0.3的版本，在安装jieba库）当你再次输入“pip install jieba
转载
2023-07-05 17:46:05
193阅读
jieba库是Python中一个重要的第三方中文分词函数库，能够将一段中文文本分隔成中文词语序列，就像人结巴时说话一样。实例1：import jieba #
f = open('data.txt','r') # 导入文本数据
lines = f.readlines()
f.close()
f = open('out.txt','r+') # 使用r+模式读取和写入文件
for line
转载
2023-07-09 09:56:43
123阅读
# 实现Python Cut的步骤和代码示例
## 介绍
在编程中，有时候我们需要对字符串进行切片操作，即提取字符串的某个部分。在Python中，我们可以使用`slice`或者`str.split()`来实现这一功能。本文将向刚入行的小白介绍如何实现Python中的字符串切片操作。
## 整体步骤
下面是实现Python Cut的整体步骤，我们将使用切片(slice)的方法来实现字符串的切
原创
2024-01-24 12:07:58
44阅读
目的：对原始数据的商品金额进行区间划分，统计各个区间的订单数解决思路：分箱使用pd.cut()pd.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False,duplicates='raise')x ： 一维数组bins ：整数，标量序列或者间隔索引，是进行分组的依据，
转载
2023-07-25 22:47:14
147阅读
我想要实现多分类，样本不是均匀分布的使用cut，可以实现自定义范围分类 使用qcut，可以实现每个 分类的个数大致相等cut 与 qcut方法使用1、cut方法pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates=‘raise’, order
转载
2023-07-02 23:10:33
395阅读
切片切片是python提供给开发者用来分割、切割字符串或者其他有序可迭代对象的一种手段 字符串[index] # 访问字符串的某个字符 字符串[start:] # 从start小标位置开始切割字符串,到末尾 字符串[start: end] # 从start小标位置开始切割字符串，切去end位置，不包含end 前闭后开区间[) 字符串[start: end: step] # step表示步长，默认是
转载
2023-08-10 22:10:17
204阅读
做词云可视化的时候，一般都用一个库叫jieba，它是用来分词的。Jieba库在安装时，会附带一个词库，这个词库中包含了日常汉语的词语和词性。在分词时，Jieba库会先基于词库对文本进行匹配，生成文本中的汉字最有可能形成的词。然后将这些词组成一个DAG，用动态规划算法来查找最大的概率路径，尽可能不将一个词拆成单独的汉字。最后，再从词库中找出基于词频的最大切分组合，把这些组合在文本中找出来，进而形成一
转载
2023-06-13 20:41:34
184阅读
续上次对于jieba模块的介绍，这次主要是一些jieba模块的进一步的应用，以及在这次的项目里面和xlrd模块结合起来的应用。1.jieba带词性的分词,pos tagging是part-of-speech tagging的缩写 要使用jieba的这个功能只需要import jieba.posseg as psg(随便一个名字,这里就叫psg了) 一般情况下
转载
2023-06-26 23:17:24
348阅读
# Python中文分词库jieba详解
在自然语言处理（NLP）领域中，中文分词是一个重要的预处理步骤。它将连续的中文文本分割成有意义的词汇单位，为后续的文本分析任务（如文本分类、情感分析等）提供基础。
Python中有许多中文分词库，其中最受欢迎且功能强大的是jieba。jieba是一个开源的Python中文分词库，采用了基于词频的分词算法，具有高效、准确和易用的特点。本文将详细介绍jie
原创
2023-07-31 11:26:52
112阅读
import jieba
jieba.setLogLevel(jieba.logging.INFO)
import jieba.analyse# 支持四种分词模式
# 1、使用paddle模式，利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词seg_list = jieba.cut("我来到北京清华大学",use_paddle=True)
print("pad
转载
2023-07-01 14:37:08
138阅读
要点导航载入词典调整词典基于 TF-IDF 算法的关键词抽取基于 TextRank 算法的关键词抽取jieba“结巴”中文分词：做最好的 Python 中文分词组件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation mo
转载
2024-01-25 11:04:03
79阅读
jieba库的安装jieba库是Python中第三方中文分词函数库，需要用户联网自定义安装， win+r调出命令行：输入cmd 命令行安装方式：pip install jieba; pycharm环境安装方式： 1.打开pycharm页面后鼠标移到左上角File处点击setting进入 2.点击Project:untitled，再点击projecr interprter 3.双击页面内的pip或者
转载
2023-08-15 13:16:46
3566阅读
jieba是python的一个中文分词库，下面介绍它的使用方法。安装 方式1：
pip install jieba
方式2：
先下载 http://pypi.python.org/pypi/jieba/
然后解压，运行 python setup.py install 功能下面介绍下jieba的主要功能，具体信息可参考github文档：https://github.com/fxsjy/jieb
转载
2023-08-26 15:45:30
317阅读
介绍中文分词千千万，人生苦短，我用“结巴”。jieba分词库号称是最好用的中文分词库，具有以下特点：支持四种分词模式：
精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。paddle模式，利用PaddlePaddle深度学习框架，训
转载
2023-08-23 19:24:56
168阅读
