Python中分分词工具很多，包括盘古分词、Yaha分词、Jieba分词、清华THULAC等。它们的基本用法都大同小异，这里先了解一下结巴分词。一、安装pip install jieba若使用PyCharm，从左上角的File–>Setting–>Project:工程名–>Project Interpreter，点击右侧的“+”，在弹出界面的搜索栏中输入“ji...
原创
2022-08-04 17:29:36
88阅读
符号词性相关解释Ag形语素形容词性语素。形容词代码为 a，语素代码ｇ前面置以A。a形容词取英语形容词 adjective的第1个字母。ad副形词直接作状语的形容词。形容词代码 a和副词代码d并在一起。an名形词具有名词功能的形容词。形容词代码 a和名词代码n并在一起。b区别词取汉字“别”的声母。c连词取英语连词 conjunction的第1个字母。dg副语素副词性语素。副词代码为 d，语素代码ｇ前
转载
2024-01-08 18:40:26
49阅读
1. 结巴中文分词 结巴分词是国内程序员用开发的一个中文分词模块, 源码已托管在github, https://github.com/fxsjy/jieba2. 结巴分词算法: a. 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG) b.
转载
2024-03-07 16:49:23
130阅读
In [1]: import jiebaIn [2]: a = jieba.cut("我来到了清华大学",cut_all=True)In [3]: aOut[3]: <generator object Tokenizer.cut at 0x000001E8E9CBFDm the default dictionar
原创
2023-06-07 00:26:21
172阅读
在处理中文文本时，MongoDB数据库的结巴分词功能是一个非常重要的工具。它可以帮助我们将长句切割成有意义的词语，从而进行更深层次的数据分析。本文记录了如何在MongoDB中进行结巴分词的配置和调优过程。
## 环境准备
在进行MongoDB结巴分词的配置之前，我们需要确保我们的环境符合要求。
**软硬件要求：**
| 项目 | 要求
中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。其基本实现原理有
原创
2022-08-21 00:10:01
172阅读
jieba结巴分词库jieba（结巴）是一个强大的分词库，完美支持中文分词，本文对其基本用法做一个简要总结。安装jiebapip install jieba简单用法结巴分词分为三种模式：精确模式（默认）、全模式和搜索引擎模式，下面对这三种模式分别举例介绍：精确模式import jieba
s = u'我想和女朋友一起去北京故宫博物院参观和闲逛。'
cut = jieba.cut(s)
print
转载
2023-10-05 08:03:40
501阅读
特点:支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。支持繁体分词支持自定义词典MIT 授权协议常用的分词：'''遇到问题没人解答？小编创建了一个Python学习交流QQ群：778463939寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！'''import jieba
转载
2021-07-22 09:20:16
1051阅读
中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。其基本实现原理有三点
原创
2022-08-21 00:05:22
303阅读
Brian Dilley谈到了MongoDB的几个缺陷；
两个CRM库：
morphia（针对MongoDB的Java库，是类型安全的）
spring-data（Spring Data综合项目的MongoDB实现）
“些ORM库使用了大量注解，出于很多原因，我并不倾向于使用注解，其中最重要的是被注解的对象在多个项目之间的可移植性问题
转载
2023-11-24 22:50:37
36阅读
Anaconda安装wordcloudGitHub: wordcloud 直接在Anaconda Prompt输入：conda install -c conda-forge wordcloudAnaconda安装jiebaGitHub: jieba方式一： 直接在Anaconda Prompt输入：conda install -c conda-forge jieba。方式二： 1.下载jieba压
转载
2023-09-28 21:45:29
189阅读
词是中文表达语义的最小单位，自然语言处理的基础步骤就是分词，分词的结果对中文信息处理至为关键。 本文先对中文分词方法进行一下概述，然后简单讲解一下结巴分词背后的原理。 中文分词概述 简单来说，中文分词根据实现特点大致可分为两个类别： 基于词典的分词方法、基于统计的分词方法。 基于词典的分词方法 基于
转载
2021-06-22 17:11:00
776阅读
2评论
学术界著名的分词器：
中科院的 ICTCLAS，代码并不十分好读
哈工大的 ltp，
东北大学的 NIU Parser，
另外，中文 NLP 和英文 NLP 不太一致的地方还在于，中文首先需要分词，针对中文的分词问题，有两种基本的解决思路：
启发式（Heuristic）：查字典
机器学习/统计方法：HMM、CRF
jieba 分词是python写成的一个算是工业界的分词开源库，其 github
转载
2016-10-27 12:43:00
363阅读
2评论
学术界著名的分词器：
中科院的 ICTCLAS，代码并不十分好读
哈工大的 ltp，
东北大学的 NIU Parser，
另外，中文 NLP 和英文 NLP 不太一致的地方还在于，中文首先需要分词，针对中文的分词问题，有两种基本的解决思路：
启发式（Heuristic）：查字典
机器学习/统计方法：HMM、CRF
jieba 分词是python写成的一个算是工业界的分词开源库，其 github
转载
2016-10-27 12:43:00
191阅读
2评论
转自一个很不错的博客，结合自己的理解，记录一下。作者：zhbzz2007 出处： 欢迎转载，也请保留这段声明。谢谢！结巴分词的原理，结合一个面试题：有一个词典，词典里面有每个词对应的权重，有一句话，用这个词典进行分词，要求分完之后的每个词都必须在这个词典中出现过，目标是让这句话的权重最大。 涉及算法：基于前缀词典实现词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（D
转载
2024-08-26 21:13:53
20阅读
# MongoDB安装结巴分词器的全指南
## 引言
在许多应用中，文本处理是最基本也是最重要的环节。对于中文文本分析，结巴分词器是一个广泛应用的工具，而MongoDB是一个强大的文档型数据库。本文将介绍如何在MongoDB中安装和使用结巴分词器，让你能够轻松进行中文文本分析。
## 环境准备
在开始之前，确保你拥有以下环境：
- **MongoDB**：建议使用MongoDB最新版。
原创
2024-10-04 04:13:20
112阅读
一、jieba介绍 jieba库是一个简单实用的中文自然语言处理分词库。jieba分词属于概率语言模型分词。概率语言模型分词的任务是：在全切分所得的所有结果中求某个切分方案S，使得P(S)最大。jieba支持三种分词模式：全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 精确模式，试图将句子最精确地切开，适合文本分析； 搜索引擎模式，在精确模式的基础上，对长词再次切
转载
2024-01-17 09:25:07
60阅读
就是前面说的中文分词，这里需要介绍的是一个分词效果较好，使用起来像但方便的Python模块：结巴。一、结巴中文分词采用的算法基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法二、结巴中文分词支持的分词模式目前结巴分词支持
转载
2023-08-20 20:32:02
98阅读
由于中文文本中的单词不像英文那样靠空格来分割，因此中文存在一个重要的分词问题，像昨天我发表的文本词频统计就是统计的英文短文，那如果统计中文文本中单词出现次数要怎么统计呢，首先就要利用中文分词库来将文本进行分割才能统计次数。“jieba”是Python中的一个重要的第三方中文分词库，能将一段中文文本分割成单词的序列。结巴支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析，调用形式是ji
原创
2021-03-02 09:55:26
1418阅读
本次release的主要更新：1) 新增并行分词功能，可以在多核计算机上显著提高分词速度2) 修正了“的”字频过高引起的bug；修正了对小数点和下划线的处理3) 修正了python2.6存在的兼容性问题并行分词介绍：原理：将目标文本按行分隔后，把各行文本分配到多个python进程并行分词，然后归并结果，从而获得分词速度的可观提升基于python自带的multiprocessing模块，目前暂不支持windows用法：jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数 jieba.disable_parallel() # 关闭并行分词模式 例子：http..
转载
2013-04-22 20:46:00
170阅读
