文章目录1、简介2、Jieba（中文分词）2.1 简介2.2 安装2.3 测试3、THULAC（中文分词）3.1 简介3.2 安装3.3 测试4、SnowNLP（中文分词）4.1 简介4.2 安装4.3 测试5、NLTK（英文分词）5.1 简介5.2 安装5.3 测试结语 1、简介机器学习之所以看上去可以解决很多复杂的问题，是因为它把这些问题都转化为了数学问题。 而 NLP 也是相同的思路，文本
转载
2023-12-04 19:04:43
79阅读
一、常用到的第三发工具NLP常用基本工具
• jieba:
• https://github.com/fxsjy/jieba
• HanLP:
• http://hanlp.com/
• https://github.com/hankcs/pyhanlp
• snowNLP:
• http://gi
转载
2023-09-02 16:08:41
146阅读
开源NLP自然语言处理工具集锦现状首先看看目前常用的分词系统：NoNameFeature1BosonNLPhttp://bosonnlp.com/2IKAnalyzer3NLPIRhttp://ictclas.nlpir.org/4SCWShttp://www.xunsearch.com/scws/5结巴分词6盘古分词http://pangusegment.codeplex.com/7庖丁解牛ht
转载
2023-11-10 22:24:53
62阅读
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com)一、字符串处理这里是一些自然语言中常用的python字符串操作，python内置无需安装1.1 strip函数：去掉首尾特定字符示例：text = " abcdef125s wr2258abcd "
print("base", text)
print("strip:", text.strip(
1.在python中文本用链表来表示：['Monty','Pyton']。我们可以使用索引，分片和len()函数对链表进行操作。（文本在python中都是用链表表示）2词“token”（标识符）是指文本中给定词的特定出现;词“type”类型则是指词作为一个特定序列字母的唯一形式。我们使用len(text)计数词的标识符计数词的标识符，使用len(set(text))计数词的类型。（len()统计的
转载
2023-06-21 16:19:54
121阅读
FNLP是由Fudan NLP实验室的邱锡鹏老师开源的一套Java写就的中文NLP工具包，提供诸如分词、词性标注、文本分类、依存句法分析等功能。【开源中文分词工具探析】系列：开源中文分词工具探析（一）：ICTCLAS (NLPIR)开源中文分词工具探析（二）：Jieba开源中文分词工具探析（三）：Ansj开源中文分词工具探析（四）：THULAC开源中文分词工具探析（五）：FNLP开源中文分词工具探
转载
2023-11-15 22:45:21
85阅读
探索NLP-China/nlp-lang：一款强大的自然语言处理工具项目简介NLP-China/nlp-lang 是一个开源的自然语言处理（NLP）库，专注于为中文文本提供高效、易用的处理工具。该项目旨在帮助开发者和研究人员更便捷地进行中文信息提取、文本分类、情感分析等各种NLP任务，极大地推动了中文自然语言处理技术的发展。技术分析模块化设计：nlp-lang采用了模块化的架构，使得各个功能组件可
转载
2024-08-06 19:49:40
28阅读
中文词法分析
THULAC：一个高效的中文词法分析工具包
包括中文分词、词性标注功能。已经提供C++、Java、Python版本。
中文文本分类
THUCTC: 一个高效的中文文本分类工具
提供高效的中文文本特征提取、分类训练和测试功能。
THUTag: 关键词抽取与社会标签推荐工具包
GitHub - YeDeming/THUTag:
转载
2024-01-25 06:10:47
55阅读
初入python，直接学习自然语言处理，没有意外的话这就是我研究生的研究方向了，瞬间就变得顺眼了起来。一、python安装我个人下载的是python2.7.13x32位，比较稳定。(后来由于nltk包实在不允许，换成了3.6)下面是IDLE的显示情况。这里可以看出，python2和python3在语法上有一些不同。下面是python.exe的显示情况。然后我看这个有点寒酸，就想用一个ide，想来想
转载
2023-09-15 17:39:27
82阅读
# NLP 中文分词工具概述
在自然语言处理（NLP）领域，中文分词是一个必不可少的重要部分。与英文不同，中文在书写中通常没有自然的单词边界，这使得中文分词变得尤为复杂。中文文本的分词任务的目标是将连续的汉字序列切分为一个个有意义的词汇单元。
## 1. 什么是中文分词？
中文分词的定义是将一段连续的汉字文本分割成若干个词语。例如，将句子“在家喝茶”切分成“在家”、“喝”、“茶”。分词不仅在
原创
2024-09-07 06:24:41
60阅读
分词是自然语言处理中的一项重要任务，将一段文本划分成一系列有意义的词语或单词，是很多文本处理任务的基础，如文本分类、情感分析、机器翻译等。在中文分词中，jieba是一个常用的分词工具，而在英文分词中，spaCy是一个较为流行的选择。本文将介绍jieba和spaCy的使用方法和原理。 文章目录1. jieba分词2. 用户自定义字典3. 分词效果评估4. spaCy分词 1. jieba分词jieb
转载
2023-09-02 11:24:15
226阅读
# 中文开源NLP标注工具实现指南
在开发中文开源NLP标注工具的过程中，我们需要经过几个主要的步骤。通过这个流程，你将逐步构建和实现一个简单的NLP标注工具。以下是整个开发过程的步骤和需要的内容。
## 流程图
```mermaid
flowchart TD
A[需求分析] --> B[选择NLP库]
B --> C[数据预处理]
C --> D[模型训练]
## 中文NLP标注工具教程
自然语言处理（Natural Language Processing，简称NLP）是计算机科学与人工智能领域的一个重要分支，旨在使计算机能够理解和处理人类语言。而中文NLP标注工具则是在中文语境下进行NLP任务所需的工具和技术。本教程将介绍一些常用的中文NLP标注工具，并提供相应的代码示例。
### 1. 中文分词
中文分词是NLP的第一步，将连续的中文文本切分
原创
2023-09-22 16:36:39
321阅读
Named Entity Recognition目录Named Entity Recognition1. NER1.1 NER定义1.2 数据格式1.2.1 BIO1.2.2 BIOES1.3 开源库1.4 相关数据集1.5 方法2. BILSTM2.1 BILSTM classify2.2 BILSTM seq encode3. NER应用：NER-BILSTM-CNN4. NER应用：BERT
转载
2024-03-11 22:02:58
578阅读
自然语言处理的大部分任务是监督学习问题。序列标注问题如中文分词、命名实体识别，分类问题如关系识别、情感分析、意图分析等，均需要标注数据进行模型训练。深度学习大行其道的今天，基于深度学习的 NLP 模型更是数据饥渴。本文分享一个中文文本标注工具Chinese-Annotator。 https://github.com/crownpku/Chinese-Annotator 最前沿的
转载
2023-07-27 20:53:07
521阅读
中文分词库IKAnalyzer IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为...中文分词库Paoding 庖丁中文分词库是一个使用Java开发的，可结合
转载
2023-11-28 06:53:52
472阅读
本文首先介绍下中文分词的基本原理，然后介绍下国内比较流行的中文分词工具，如jieba、SnowNLP、THULAC、NLPIR，上述分词工具都已经在github上开源，后续也会附上github链接，以供参考。1.中文分词原理介绍1.1 中文分词概述中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合
转载
2024-04-20 12:29:31
163阅读
文章目录前言一、中文分词的痛点1.1 中文的歧义性1.2 识别未登录词二、基于规则的分词算法2.1 切分方式2.1.1 正向匹配法2.1.2 逆向匹配法2.1.3 双向匹配法2.2 词典机制三、基于统计的分词算法3.1 HMM（Hidden Markov Model，隐马尔可夫模型）3.1.1 HMM概念及推导3.1.2 HMM求解中文分词问题3.1.2.1 训练3.1.2.2 预测3.1.2.
转载
2023-08-15 15:00:01
122阅读
python书籍整理PYTHON自然语言处理中文翻译 NLTK 中文版.pdf http://www.22wenku.com/pdf/21433.htmlpython简明教程中文.pdf http://www.22wenku.com/pdf/22083.htmlPython编程：从入门到实践.pdf http://www.22wenku.com/pdf/22775.html
转载
2023-07-02 14:50:56
105阅读
翻译自官网手册:NLP From Scratch: Translation with a Sequence to Sequence Network and AttentionAuthor: Sean Robertson原文github代码 这是NLP从零开始三个教程的第三个。教程中编写了自己的类和函数预处理数据来完成NLP建模任务。希望完成本教程的学习后你可以通过后续的三个教程，继续学习使用tor
转载
2024-03-09 20:34:35
55阅读
