文章目录前言一、中文分词的痛点1.1 中文的歧义性1.2 识别未登录词二、基于规则的分词算法2.1 切分方式2.1.1 正向匹配法2.1.2 逆向匹配法2.1.3 双向匹配法2.2 词典机制三、基于统计的分词算法3.1 HMM（Hidden Markov Model，隐马尔可夫模型）3.1.1 HMM概念及推导3.1.2 HMM求解中文分词问题3.1.2.1 训练3.1.2.2 预测3.1.2.
转载
2023-08-15 15:00:01
122阅读
python书籍整理PYTHON自然语言处理中文翻译 NLTK 中文版.pdf http://www.22wenku.com/pdf/21433.htmlpython简明教程中文.pdf http://www.22wenku.com/pdf/22083.htmlPython编程：从入门到实践.pdf http://www.22wenku.com/pdf/22775.html
转载
2023-07-02 14:50:56
105阅读
翻译自官网手册:NLP From Scratch: Translation with a Sequence to Sequence Network and AttentionAuthor: Sean Robertson原文github代码 这是NLP从零开始三个教程的第三个。教程中编写了自己的类和函数预处理数据来完成NLP建模任务。希望完成本教程的学习后你可以通过后续的三个教程，继续学习使用tor
转载
2024-03-09 20:34:35
55阅读
一、什么是变量 顾名思义：变量就是可以改变的量 如： z=0 x=5 y=5 z=x+y（z=?） 上方的z就是变量，其值可以改变。 通俗的理解就是： 变量 = 生活中的容器（饭盒） 变量赋值= 把东西放到容器里面 变量类型= 放了不同东西的饭盒（容器里放的是稀饭，就是早饭/晚饭；放的是面条/米饭，就是午饭）二、变量的命名规
转载
2023-05-28 21:38:48
86阅读
python中nlp的库by Praveen Dubey 通过Praveen Dubey 单词词汇入门以及如何在Python中为NLP 编写代码的简介 (An introduction to Bag of Words and how to code it in Python for NLP)Bag of Words (BOW) is a method to extract features fr
转载
2024-04-09 13:43:30
35阅读
Python yield方法原理您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和第二个数外，任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數
转载
2024-06-24 17:09:02
23阅读
## 实现Python中文NLP库的步骤
为了实现Python中文NLP库，我们可以按照以下步骤进行操作：
步骤 | 描述
----|-----
1. 下载和安装必要的软件和库 | 需要下载和安装Python、pip、nltk、jieba等必要的软件和库。
2. 导入所需的库 | 在Python脚本中导入所需的库，如nltk、jieba等。
3. 下载所需的语料库 | 下载所需的中文语料库，以
原创
2023-09-28 14:04:20
104阅读
## 中文 NLP Python 包简介及示例
自然语言处理（Natural Language Processing，简称 NLP）是人工智能领域的重要分支，主要研究如何使计算机能够理解和处理自然语言。随着中文互联网的快速发展，中文 NLP 成为了一个热门的研究方向。Python 作为一种简洁优雅的编程语言，有许多优秀的中文 NLP 包可供使用。
以下是几个常用的中文 NLP Python 包
原创
2023-08-21 09:15:49
158阅读
# 中文 NLP Python 包的实现指南
在自然语言处理（NLP）领域，处理中文文本通常需要一些特殊的工具和包。在这篇文章中，我将向刚入行的小白介绍如何使用Python中的中文NLP包。我们将分步骤进行，每一步都会附带具体代码示例和详细注释。
## 流程概览
以下是实现中文NLP的基本步骤：
| 步骤 | 描述 |
|------|------
文章目录1、简介2、Jieba（中文分词）2.1 简介2.2 安装2.3 测试3、THULAC（中文分词）3.1 简介3.2 安装3.3 测试4、SnowNLP（中文分词）4.1 简介4.2 安装4.3 测试5、NLTK（英文分词）5.1 简介5.2 安装5.3 测试结语 1、简介机器学习之所以看上去可以解决很多复杂的问题，是因为它把这些问题都转化为了数学问题。 而 NLP 也是相同的思路，文本
转载
2023-12-04 19:04:43
79阅读
一、 实验目的深入理解汉语分词的基本概念。掌握并实现前向最大匹配算法、后向最大匹配算法和最少分词法。掌握分词的评价指标，学会计算正确率、召回率和F-测度值。二、 实验内容利用人民日报语料库或自己构建的语料库（30词以上）作为词典，任选五个句子，并基于正向最大匹配算法和最短路径法分别对这五个句子进行分词，并分别计算分词结果的正确率，召回率和F-测度值。输出句子，基于两种算法的分词结果和其对应的评价指
转载
2023-12-14 00:11:55
135阅读
代码github 几个简单的NLP数据增强示例：random delete wordrandom delete charrandom delete symbolrandom swag wordrandom back translate by google (需要能访问谷歌)random synonym substitutionrandom back translate by youdao(免费，有
转载
2023-05-19 09:51:24
107阅读
文章目录一、Pytorch的安装目标1. Pytorch的介绍2. Pytorch的版本3. Pytorch的安装二、Pytorch的入门使用目标1. 张量Tensor2. Pytorch中创建张量3. Pytorch中tensor的常用方法4. tensor的数据类型5. tensor的其他操作 一、Pytorch的安装目标知道如何安装pytorch1. Pytorch的介绍Pytorch是一
转载
2024-01-20 05:06:14
73阅读
Python易用，但用好却不易，其中比较头疼的就是包管理和Python不同版本的问题，特别是当你使用Windows的时候。为了解决这些问题，有不少发行版的Python，比如WinPython、Anaconda等，这些发行版将python和许多常用的package打包，方便pythoners直接使用，此外，还有virtualenv、pyenv等工具管理虚拟环境。个人尝试了很多类似的发行版，最终选择了
转载
2023-12-02 18:04:28
66阅读
本文主要介绍了Python NLP入门教程，Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧，希望能帮助到大家。什么是NLP？简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。这里讨论一些自然语
转载
2023-10-18 11:30:15
66阅读
1.在python中文本用链表来表示：['Monty','Pyton']。我们可以使用索引，分片和len()函数对链表进行操作。（文本在python中都是用链表表示）2词“token”（标识符）是指文本中给定词的特定出现;词“type”类型则是指词作为一个特定序列字母的唯一形式。我们使用len(text)计数词的标识符计数词的标识符，使用len(set(text))计数词的类型。（len()统计的
转载
2023-06-21 16:19:54
121阅读
一、常用到的第三发工具NLP常用基本工具
• jieba:
• https://github.com/fxsjy/jieba
• HanLP:
• http://hanlp.com/
• https://github.com/hankcs/pyhanlp
• snowNLP:
• http://gi
转载
2023-09-02 16:08:41
146阅读
前言在聊NLP领域的语言模型的时候，我们究竟在聊什么？这就涉及nlp语言模型的定义。语言模型发展至今，其实可以简单的分为传统意义上的语言模型和现代的语言模型，传统语言模型主要是指利用统计学计算语料序列的概率分布，对于一个给定长度为m的序列，它可以为整个序列产生一个概率 P(w_1,w_2,…,w_m) 。其实就是想办法找到一个概率分布，它可以表示任意一个句子或序列出现的概率。现代的语言模型，则是指
转载
2023-12-10 07:25:08
84阅读
开源NLP自然语言处理工具集锦现状首先看看目前常用的分词系统：NoNameFeature1BosonNLPhttp://bosonnlp.com/2IKAnalyzer3NLPIRhttp://ictclas.nlpir.org/4SCWShttp://www.xunsearch.com/scws/5结巴分词6盘古分词http://pangusegment.codeplex.com/7庖丁解牛ht
转载
2023-11-10 22:24:53
62阅读
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com)一、字符串处理这里是一些自然语言中常用的python字符串操作，python内置无需安装1.1 strip函数：去掉首尾特定字符示例：text = " abcdef125s wr2258abcd "
print("base", text)
print("strip:", text.strip(
