Python yield方法原理您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和第二个数外，任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數
转载
2024-06-24 17:09:02
23阅读
python中nlp的库by Praveen Dubey 通过Praveen Dubey 单词词汇入门以及如何在Python中为NLP 编写代码的简介 (An introduction to Bag of Words and how to code it in Python for NLP)Bag of Words (BOW) is a method to extract features fr
转载
2024-04-09 13:43:30
35阅读
代码github 几个简单的NLP数据增强示例：random delete wordrandom delete charrandom delete symbolrandom swag wordrandom back translate by google (需要能访问谷歌)random synonym substitutionrandom back translate by youdao(免费，有
转载
2023-05-19 09:51:24
109阅读
分词与NLP关系：分词是中文自然语言处理的基础，没有中文分词，我们对语言很难量化，进而很能运用数学的知识去解决问题。对于拉丁语系是不需要分词的。拉丁语系与亚系语言区别拉丁语言系不需要分词，因为他们的词语之间有空格分割，可以根据空格就可以把单词分开。比如英语、法语等。亚系语言中间没有空格，比如中文、韩文及日文等。因此需要 分词。什么是中文分词：中文分词(Chinese Word Segmentati
转载
2023-09-05 16:49:51
112阅读
文章大纲语料库词库及词法工具预训练语言模型抽取知识图谱文本生成文本摘要智能问答文本纠错语音处理文档处理表格处理文本匹配文本数据增强常用正则表达式文本检索阅读理解情感分析事件抽取机器翻译数字转换指代消解文本聚类文本分类知识推理可解释自然语言处理文本对抗攻击文本可视化文本标注工具语言检测综合工具有趣搞笑工具课程报告面试等比赛金融自然语言处理医疗自然语言处理法律自然语言处理其他备注 The Most
转载
2024-05-22 16:53:39
11阅读
python书籍整理PYTHON自然语言处理中文翻译 NLTK 中文版.pdf http://www.22wenku.com/pdf/21433.htmlpython简明教程中文.pdf http://www.22wenku.com/pdf/22083.htmlPython编程：从入门到实践.pdf http://www.22wenku.com/pdf/22775.html
转载
2023-07-02 14:50:56
105阅读
文章目录前言一、中文分词的痛点1.1 中文的歧义性1.2 识别未登录词二、基于规则的分词算法2.1 切分方式2.1.1 正向匹配法2.1.2 逆向匹配法2.1.3 双向匹配法2.2 词典机制三、基于统计的分词算法3.1 HMM（Hidden Markov Model，隐马尔可夫模型）3.1.1 HMM概念及推导3.1.2 HMM求解中文分词问题3.1.2.1 训练3.1.2.2 预测3.1.2.
转载
2023-08-15 15:00:01
122阅读
spaCy 是Python中比较出名，专门用于自然语言处理的库。它有助于实现最先进的效率和敏捷性，并拥有活跃的开源组织积极贡献代码。加分项：与所有主要的深度学习框架很好地结合，并预装了一些出色且有用的语言模型由于Cython支持，速度相对较快 使用spaCy最适合做的事情词性（POS）标注：这是给单词标记制定语法属性（例如名词，动词，形容词，副词等）过程。实体识别：将文本中发现的命名实体标记到预
转载
2024-04-09 19:38:28
43阅读
大家好，JioNLP(https://github.com/dongrixinyu/JioNLP)目前已经在Github上有了1600星的点赞，下载安装量大概有几万了。被使用最多的功能，也是被问得最多的，主要是关键短语抽取、时间语义解析、地址按省市县三级解析等等。其它功能较少使用到。然而，作为开发者，我自己在工作中经常用到的一些功能函数，甚少被关注或者提问，因此，本文主要是向大家介绍几个我平时常用
转载
2024-08-29 13:20:24
169阅读
spaCy是最流行的开源NLP开发包之一，它有极快的处理速度，并且预置了词性标注、句法依存分析、命名实体识别等多个自然语言处理的必备模型，因此受到社区的热烈欢迎。中文版预训练模型包括词性标注、依存分析和命名实体识别，由汇智网提供，下载地址：spaCy2.1中文模型包 。1、模型下载安装与使用下载后解压到一个目录即可，例如假设解压到目录 /models/zh_spacy，目录结构如下：/spacy/
转载
2023-10-12 15:08:19
108阅读
翻译自官网手册:NLP From Scratch: Translation with a Sequence to Sequence Network and AttentionAuthor: Sean Robertson原文github代码 这是NLP从零开始三个教程的第三个。教程中编写了自己的类和函数预处理数据来完成NLP建模任务。希望完成本教程的学习后你可以通过后续的三个教程，继续学习使用tor
转载
2024-03-09 20:34:35
55阅读
一、什么是变量 顾名思义：变量就是可以改变的量 如： z=0 x=5 y=5 z=x+y（z=?） 上方的z就是变量，其值可以改变。 通俗的理解就是： 变量 = 生活中的容器（饭盒） 变量赋值= 把东西放到容器里面 变量类型= 放了不同东西的饭盒（容器里放的是稀饭，就是早饭/晚饭；放的是面条/米饭，就是午饭）二、变量的命名规
转载
2023-05-28 21:38:48
86阅读
# 中文NLP数据库的科学普及
自然语言处理（NLP）是人工智能的一个重要分支，致力于使计算机能够理解和生成自然语言。尤其是在中文NLP方面，由于中文的特殊结构和丰富的表达方式，构建高效的中文NLP数据库显得尤为重要。本文将带您深入了解中文NLP数据库的构建与应用，并通过代码示例和可视化流程图帮助您理解。
## 中国自然语言处理的现状
中文NLP在语音识别、文本分类、情感分析等多个领域都有广
在本文中，我列出了当今最常用的 NLP 库，并对它们进行了简要说明。它们在不同的用例中各有优缺点，因此它们都可以作为专门从事 NLP 的优秀数据科学家的丰富知识。每个库的描述都是从它们的GitHub存储库中提取的。 顶级 NLP 库这是顶级库的列表，按 GitHub 星数排序。Hugging Face Transformers57.1k GitHub 星数。Transformers
转载
2023-10-25 21:13:43
8阅读
# 中文 NLP Python 包的实现指南
在自然语言处理（NLP）领域，处理中文文本通常需要一些特殊的工具和包。在这篇文章中，我将向刚入行的小白介绍如何使用Python中的中文NLP包。我们将分步骤进行，每一步都会附带具体代码示例和详细注释。
## 流程概览
以下是实现中文NLP的基本步骤：
| 步骤 | 描述 |
|------|------
## 中文 NLP Python 包简介及示例
自然语言处理（Natural Language Processing，简称 NLP）是人工智能领域的重要分支，主要研究如何使计算机能够理解和处理自然语言。随着中文互联网的快速发展，中文 NLP 成为了一个热门的研究方向。Python 作为一种简洁优雅的编程语言，有许多优秀的中文 NLP 包可供使用。
以下是几个常用的中文 NLP Python 包
原创
2023-08-21 09:15:49
158阅读
## 实现Python中文NLP库的步骤
为了实现Python中文NLP库，我们可以按照以下步骤进行操作：
步骤 | 描述
----|-----
1. 下载和安装必要的软件和库 | 需要下载和安装Python、pip、nltk、jieba等必要的软件和库。
2. 导入所需的库 | 在Python脚本中导入所需的库，如nltk、jieba等。
3. 下载所需的语料库 | 下载所需的中文语料库，以
原创
2023-09-28 14:04:20
104阅读
开源语音识别软件
2009-02-24 9:47
开源语音识别软件simon的第一个测试版已经发布，simon用Julius作实际的语音识别处理引擎，HTK toolkit作为主要的语言模型。这些组件被一个易于使用的图形用户界面连接在一起。simon能够直接输入wiktionary（维基百科的子项目）词典，或者是将个人文本转换成HADIFIX或HTK格式和文法结构后导入。它还提
转载
2023-12-28 16:10:16
51阅读
文章目录1、简介2、Jieba（中文分词）2.1 简介2.2 安装2.3 测试3、THULAC（中文分词）3.1 简介3.2 安装3.3 测试4、SnowNLP（中文分词）4.1 简介4.2 安装4.3 测试5、NLTK（英文分词）5.1 简介5.2 安装5.3 测试结语 1、简介机器学习之所以看上去可以解决很多复杂的问题，是因为它把这些问题都转化为了数学问题。 而 NLP 也是相同的思路，文本
转载
2023-12-04 19:04:43
79阅读
一、 实验目的深入理解汉语分词的基本概念。掌握并实现前向最大匹配算法、后向最大匹配算法和最少分词法。掌握分词的评价指标，学会计算正确率、召回率和F-测度值。二、 实验内容利用人民日报语料库或自己构建的语料库（30词以上）作为词典，任选五个句子，并基于正向最大匹配算法和最短路径法分别对这五个句子进行分词，并分别计算分词结果的正确率，召回率和F-测度值。输出句子，基于两种算法的分词结果和其对应的评价指
转载
2023-12-14 00:11:55
135阅读
