自然语言处理是人工智能的类别之一。自然语言处理主要有那些功能？我们以百度AI为例 从上述的例子可以看到，自然语言处理最基本的功能是词法分析，词法分析的功能主要有：分词分句词语标注词法时态（适用于英文词语）关键词提前（词干提取）由于英文和中文在文化上存在巨大的差异，因此Python处理英文和中文需要使用不同的模块，中文处理推荐使用jieba模块，英文处理推荐使用nltk模块。模块安装方法可自行搜索相
转载
2024-02-23 11:47:45
55阅读
目前分词的难点
（1）分词规范：公说公有理婆说婆有理
（2）歧义切分：歧义本身就是一个问题，暂时没有得到解决
（3）未登录词：语言是一个神奇的事情，总会有创意的人想出创意的词来表达特定的含义，而且这这个游戏乐此不疲，所以这个问题会一直都存在
接下来将python可能调用的分词包进行了汇总了 1、jieba分词 安装： （1）一般安装，可能时间比较长：pip install jieba （2）配源进
转载
2024-04-10 18:58:19
51阅读
你可以使用字符串方法 translate() 和 maketrans 函数来去除英文标点。首先，你需要创建一个字符映射表，用于指定哪些字符需要被删除。接着，使用 translate() 方法传递该字符映射表，以在字符串中去除指定字符。以下是一个示例代码：import string
def remove_punctuation(input_string):
# 创建字符映射表，用于指定哪些
转载
2023-05-23 16:38:21
228阅读
import matplotlib.pyplot as plt
import jieba
import jieba.analyse
from wordcloud import WordCloud, ImageColorGenerator
from PIL import Image, ImageSequence
import numpy as np
#返回两个参数，cut后的值以及排序后的关键词
转载
2023-06-01 17:25:01
73阅读
# Python去除中英文标点符号
## 简介
本文旨在教会刚入行的小白如何使用Python去除中英文标点符号。首先，我们将介绍整个流程，并使用表格展示每个步骤。然后，我们将详细说明每个步骤需要做什么，并提供相应的代码和注释。
## 整体流程
下表展示了去除中英文标点符号的整个流程：
| 步骤 | 描述 |
| --- | --- |
| 1. | 导入所需的库 |
| 2. | 定义要
原创
2023-09-13 18:13:46
762阅读
spaCy 是一个Python自然语言处理工具包，诞生于2014年年中，号称“Industrial-Strength Natural Language Processing in Python”，是具有工业级强度的Python NLP工具包。spaCy里大量使用了 Cython 来提高相关模块的性能，这个区别于学术性质更浓的Python NLTK，因此具有了业界应用的实际价值。安装和编译 spaC
转载
2023-06-30 21:40:29
243阅读
# Python英文分词
英文分词是自然语言处理（NLP）中的一个重要技术，它将连续的英文文本切分成单词或词组的序列。在文本处理、机器翻译、信息检索等领域中，英文分词是进行后续处理的基础。本文将介绍Python中常用的英文分词方法，包括基于规则的分词和基于机器学习的分词，并提供相应的代码示例。
## 1. 基于规则的分词
基于规则的分词方法是一种简单直观的英文分词技术，它通过定义一组规则来切
原创
2023-10-11 11:38:42
260阅读
介绍一个好用多功能的Python中文分词工具SnowNLP，全称Simplified Chinese Text Processing。在实现分词的同时，提供转换成拼音（Trie树实现的最大匹配）及繁体转简体（Trie树实现的最大匹配）等功能。操作简单，功能强大。Install$ pip install snownlpUseageSnowNLP是一个python写的类库，可以方便的处理中文文本内容，
转载
2023-10-20 19:16:04
79阅读
目录1、问题背景2、解决思路3、实现方法4、代码5、注意事项 1、问题背景用Python实现一个分词的功能。即从一段英文中，提取所有单词（不重复），并记录单词出现的频率。这个功能是比较好做的，直接就判断单词的分隔符在哪里？比如“I love China！And you？”这句话空格肯定是单词之间的分隔符，另外一些标点符号也是单词之间的分隔符。2、解决思路这里有三种办法： 1）一个个字符遍历，遇到
转载
2023-11-21 21:14:29
206阅读
前言本篇主要记录在用python写nltk分词操作项目主要出现的错误以及改进的方法。 本文利用nltk，从数据库中获取文本并进行去停用词处理，并将处理结果放入数据库。一、nltk是什么？Natural Language Toolkit，自然语言处理工具包，在NLP领域中，最常使用的一个Python库。 NLTK是一个开源的项目，包含：Python模块，数据集和教程，用于NLP的研究和开发 [1]
转载
2024-05-17 22:23:32
155阅读
<于网上的一些资料，直接通过复制、粘贴到Word文档中，这时会发现有很多空格和人工分行符，手工删除十分麻烦。我的解决办法是在Word中录制宏，通过宏操作，删除所有空格和人工分行符，并进行重新排版。 1.录制你自己的宏 (1)运行Word，并新建一个文件。打开“工具”菜单栏，选择“宏”，在二级菜单中选择“录制新宏”。
转载
2024-03-11 21:02:51
98阅读
这里写自定义目录标题一、中文分词基本说明二、停用词库、自定义词典的使用（一）停用词（二）自定义词典三、词云绘制四、中文字体的使用说明（一）Mac 字体使用说明五、附件（一）ttf字体文件资源（二）停用词库 一、中文分词基本说明因为数据常以表格形式出现，所以这里模拟df数据格式来做示例。原始数据格式如下：分词完整代码如下：import pandas as pd
import numpy as np
转载
2023-08-07 12:34:15
131阅读
中文分词，通俗来说，就是将一句(段)话按一定的规则(算法)拆分成词语、成语、单个文字。中文分词是很多应用技术的前置技术，如搜索引擎、机器翻译、词性标注、相似度分析等，都是先对文本信息分词处理，再用分词结果来搜索、翻译、对比等。在Python中，最好用的中文分词库是jieba。用“结巴”给一个中文分词库命名，非常生动形象，同时还带有一种程序员式的幽默感。最好的Python中文分词组件“结巴”中文分词
转载
2023-09-04 20:53:03
136阅读
jieba“结巴”中文分词：做最好的 Python 中文分词组件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.Scroll down for English documentation.
特点支持三
转载
2023-08-22 16:12:04
233阅读
就是前面说的中文分词，这里需要介绍的是一个分词效果较好，使用起来像但方便的Python模块：结巴。 一、结巴中文分词采用的算法 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG) 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法 二、结巴中文分词支持的分词模式 目
转载
2024-07-23 09:01:11
6阅读
# Python英文分词工具
## 介绍
在自然语言处理（Natural Language Processing，NLP）领域中，分词是最基本的任务之一。对于英文文本来说，将一段连续的英文文本切分为单词是进行后续处理的重要步骤。Python提供了许多分词工具，本文将介绍几种常用的英文分词工具，并提供相应的代码示例。
## 分词工具介绍
### 1. NLTK
[Natural Lang
原创
2023-09-20 06:42:11
1685阅读
Python 在分词方面的应用基础。
目录模块安装开源代码基本用法启用Paddle词性标注调整词典智能识别新词搜索引擎模式分词使用自定义词典关键词提取停用词过滤模块安装pip install jiebajieba分词器支持4种分词模式:精确模式该模式会试图将句子最精确地切分开，适合在文本分析时使用。全模式该模式会将句子中所有可以成词的词语都扫描出来，速度
# Introduction to Using Jieba for English Text Segmentation in Python
In the field of Natural Language Processing (NLP), text segmentation is an important task that involves breaking down a piece of
原创
2024-06-15 05:35:07
83阅读
1）全角---指一个字符占用两个标准字符位置。 汉字字符和规定了全角的英文字符及国标GB2312-80中的图形符号和特殊字符都是全角字符。一般的系统命令是不用全角字符的，只是在作文字处理时才会使用全角字符。 （2）半角---指一字符占用一个标准的字符位置。 通常的英文字母、数字键、符号键都是半角的，半角的显示内码都是一个字节。在系统内部，以上三种字符是作为基本代码处理的，所以用户输入命令和参数时一
转载
2023-12-28 07:59:14
172阅读
1.用python进行精细中文分句（基于正则表达式）中文分句，乍一看是一个挺简单的工作，一般我们只要找到一个【。！？】这类的典型断句符断开就可以了吗。 对于简单的文本这个做法是已经可行了（比如我看到这篇文章里有个简洁的实现方法NLTK使用笔记，NLTK是常用的Python自然语言处理库然而当我处理小
转载
2023-11-30 21:58:53
9阅读
