1.自然语言工具包（NLTK）NLTK 创建于2001 年，最初是宾州大学计算机与信息科学系计算语言学课程的一部分。从那以后，在数十名贡献者的帮助下不断发展壮大。如今，它已被几十所大学的课程所采纳，并作为许多研究项目的基础。表P -2 列出了NLTK 的一些最重要的模块。 这本书提供自然语言处理领域非常方便的入门指南。它可以用来自学，也可以作为自然语言处理或计算语言学课程的教科书，或是人
转载
2024-04-25 16:08:29
43阅读
自然语言处理在文本信息抽取、自动审校、智能问答、情感分析等场景下都有非常多的实际应用需求，在人工智能领域里有极为广泛的应用场景。然而在实际工程应用中，最经常面临的挑战是我们往往很难有大量高质量的标注语料。 “巧妇难为无米之炊”，在缺少语料的情况下，如何达到良好的NLP应用效果，是这些场景要落地所必须解决的问题。我们通常称其为“低资源问题”，或者称为“小样本学习”问题，本文从达
目录第1章 绪论1.1 自然语言处理的概念1.2 自然语言处理的难点1.3 自然语言处理任务体系1.3.1 任务层级1.3.2 任务类别 1.3.3 研究对象与层次 1.4 自然语言处理技术发展历史第1章 绪论1.1 自然语言处理的概念自然语言处理（Natural Language Processing，NLP）主要研究用计算机理解和生成自然语言的各种理论和方法，属于人工智能领
转载
2024-09-21 09:05:06
63阅读
注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】 文章目录自然语言处理系列二十一词性标注词性标注原理总结 自然语言处理系列二十一词性标注词性标注（Part-Of-Speech tagging, POS tagging）也被称为语法标注（grammatical tagging）或词类消疑（word
转载
2024-04-23 16:47:43
56阅读
目录1 语言处理与python自然语言工具包（NLTK）入门安装一些函数搜索文本计数词汇将文本当作词链表链表索引列表变量字符串简单的统计频率分布细粒度的选择词词语搭配和双连词计数其他东西决策控制自动理解自然语言获得文本语料和词汇资源古腾堡语料库：网络和聊天文本布朗语料库路透社语料库就职演说语料库标注文本语料库其他语言的语料库文本语料库的结构载入自己的语料库 1 语言处理与python自然语言工具
转载
2024-06-27 11:09:04
43阅读
语义理解(NLU)仍然是学界的一个难题！给你一篇文章或者一个句子，人们在理解这些句子时，头脑中会进行上下文的搜索和知识联想。通常情况下，人在理解语义时头脑中会搜寻与之相关的知识。知识图谱的创始人人为，构成这个世界的是实体，而不是字符串，这从根本上改变了过去搜索的体系。语义理解其实是基于知识，概念和这些概念间的关系。人们在解答问题时，往往会讲述与这个问题相关的知识，这是语义理解的过程。这种机制完全不
《自然语言处理——基于预训练模型的方法》——车万翔、郭江、崔一鸣自然语言处理——基于预训练模型的方法——第3章 基础工具集与常用数据集3.1 NLTK工具集NLTK（Natural Language Toolkit）是一个 Python 模块，提供了多种语料库（Corpora）和词典（Lexicon）资源pip install nltk==3.53.1.1 常用语料库和词典资源停用词在进行自然语言
转载
2024-04-07 06:15:25
100阅读
5. 感知机分类与序列标注第4章我们利用隐马尔可夫模型实现了第一个基于序列标注的中文分词器，然而效果并不理想。事实上，隐马尔可夫模型假设人们说的话仅仅取决于一个隐藏的{B.M,E,S序列，这个假设太单纯了，不符合语言规律。语言不是由这么简单的标签序列生成，语言含有更多特征，而隐马弥可夫模型没有捕捉到。隐马弥可夫模型能捕捉的特征仅限于两种: 其一，前一个标签是什么；其二，当前字符是什么。为了利用更多
# NLP自然语言标注器
在自然语言处理（NLP）领域，自然语言标注器是一种重要的工具，用于将自然语言文本中的单词或短语与其对应的语言结构或语义信息进行关联。自然语言标注器可以帮助计算机理解和处理文本数据，从而实现诸如情感分析、文本分类、实体识别等任务。
## 自然语言标注器的工作原理
自然语言标注器通常基于机器学习算法，通过训练数据集学习单词或短语与其对应的标记（如词性标记、命名实体标记等
原创
2024-04-15 03:42:23
54阅读
一、引言自然语言生成（又称为文本生成）旨在基于输入数据用人类语言生成合理且可读的文本。随着预训练语言模型的发展，GPT-3，BART等模型逐渐成为了生成任务的主流模型。近年来，为了利用预训练阶段编码的丰富知识，提示学习成为了一个简单而强大的方法。这篇工作主要聚焦于开放式文本生成，例如故事生成和评论生成。在这种场景下，输入仅包含有限的信息，而任务目标是要生成富含信息量且与主题相关的长文本。例如下表中
在上一部分中，我们已经了解了神经网络语言模型和词向量：自然语言处理NLP（3）——神经网络语言模型、词向量 在对现阶段NLP领域的最基本、最常用的架构有所了解之后，在这一部分中，我们将要介绍NLP领域最常见的一类问题：序列标注。【一】序列标注在NLP领域中，有许多的任务可以转化为“将输入的语言序列转化为标注序列”来解决问题。比如，命名实体识别、词性标注等等。命名实体识别命名实体识别是NLP中的一个
转载
2023-08-21 09:48:23
183阅读
序列标注问题是自然语言中最常见的问题，在深度学习火起来之前，常见的序列标注问题的解决方案都是借助于HMM模型，最大熵模型，CRF模型。尤其是CRF，是解决序列标注问题的主流方法。随着深度学习的发展，RNN在序列标注问题中取得了巨大的成果。而且深度学习中的end-to-end，也让序列标注问题变得更简单了。 序列标注问题包括自然语言处理中的分词，词性标注，命名实体识别，关键词抽取，词义角色标注
转载
2023-07-19 13:05:47
199阅读
自然语言处理，前面和大家说了【新手上路常见问答】关于自然语言处理（NLP）【实战技能】自然语言处理（NLP）的案例一：依赖解析今天继续和大家聊聊我自己做的作业案例。作业来自Coursera上的Introduction to Natural Language Processing这门课，讲师是Dragomir R. Radev, Ph.D.，University of Michigan的教授。关于课
转载
2023-11-22 10:01:58
74阅读
词性标注即在给定的句子中判定每个单词最合适的
原创
2022-08-09 21:45:47
1253阅读
1、Stanford CoreNLP、StanfordNLP和Stanford OpenIE 三者的区别 Stanford CoreNLP、StanfordNLP和Stanford OpenIE 都是斯坦福大学开发的自然语言处理工具包，用于处理自然语言文本。但是它们在功能和应用上存在一些区别：Stanford CoreNLP是一个完整的自然语言处理工具包，提供了多个处理器（例如分词、命名实体识别、
转载
2024-08-13 18:04:12
0阅读
本文探讨以不同的方式给文本自动添加词性标记。首先加载要使用的数据。import nltk
from nltk.corpus import brown
brown_tagged_sents = brown.tagged_sents(categories='news')
brown_sents = brown.sents(categories='news')1、默认标注器最简单的标注器是为每个标识符
转载
2024-05-30 20:40:23
56阅读
在我们处理爬虫的时候，有许多文本信息，如电影简介、新闻报道以及评论等，而关键词提取是指从大量文本中提出最核心、最主要的关键词，而实现关键词提取算法的算法有两种：1. TextRank: 基于词与词直接的上下文关系构建共现网络，将处于网络核心位置的词作为关键词、2. TF-IDF:选出一般不常用但是在指定环境文本中频繁出现的词作为关键词。信息的抽取是从非结构化文本中抽取出有意义或者感兴趣的字段。例如
转载
2023-08-24 12:09:24
151阅读
一、背景 由于针对于OOV的问题，在最初的全切分阶段已经不可能进入词网，无召回可谈，那如何辨别新词汇呢？ 只要将每个汉字组词时所处的位置（首尾等）作为标签，则中文分词就转化为给定汉字序列找出标签序列问题。 字构词就是序列标注模型的
转载
2024-09-10 10:15:13
56阅读
HMM序列标注问题隐马尔可夫模型1.HMM与马尔可夫假设2.HMM三要素3.HMM样本生成4.HMM的训练（参数估计）1.状态转移概率矩阵的估计2.初始状态概率向量的估计3.发射概率矩阵的估计5.隐马尔可夫模型的预测搜索状态序列的Viterbi算法6.HMM应用于中文分词二阶隐马尔可夫模型二阶状态转移概率张量的估计二阶隐马尔可夫模型中的维特比算法总结 序列标注问题序列标注问题是给定一个序列x=x
转载
2023-12-12 17:36:44
47阅读
特点展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探索序列预测并生成序列到序列模型学习构建自然语言处理生产系统的设计模式内容介绍
监督学习范式观察和目标
转载
2023-09-05 08:07:21
281阅读
