单位 | 快商通科技股份有限公司 自然语言处理实习生信息抽取的定义为：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是
转载
2024-03-14 11:42:14
59阅读
【火炉炼AI】机器学习042-NLP文本的主题建模(本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2， NLTK 3.3)文本的主题建模时用NLP来识别文本文档中隐藏的某种模式的过程，可以发现该文档的隐藏主题，以便对文档进行分析。主题建模的实现过程是，识别出某文本文档中最有意义，最能表征主题的词
转载
2024-01-05 23:31:20
16阅读
NLP的几个概念从技术研究的角度，简单介绍自然语言处理的几个概念1. 对抗学习主要指对抗生成网络。2个主要构成：判别器、生成器判别模型尽可能提取特征正确率增加的模型，生成模型尽可能“伪造”让判别模型以为是真的结果。2. 强化学习来源于“heterostatic theory of adaptive systems”不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的
转载
2023-12-18 23:28:04
35阅读
主题模型0 前言1 摘要2 主题模型是什么4 如何使用主题模型 0 前言NLP萌新，最近看NLP计算相似度的东西，频繁看到主题模型和LDA关键字，以为主题模型就是分类模型，将文档分为不同的主题，LDA就是linear discriminant analysis （线性判别分析），哪知道人家是Latent Dirichlet Allocation(隐性狄利克雷分配)。看来望文生义还是不行啊。下面只
转载
2023-11-24 08:19:08
66阅读
# 文档主题提取与NLP模型的应用
## 什么是文档主题提取？
文档主题提取是自然语言处理（NLP）中的一个重要任务，旨在从大量文本中识别出最重要的主题或关键词。这一过程不仅能帮助我们更好地理解文档内容，还能为信息检索、推荐系统、数据分析等应用提供支持。
### 为什么主题提取重要？
1. **信息组织**: 主题提取可以将大量信息汇总为简洁的摘要，便于用户快速获取关键信息。
2.
原创
2024-09-08 06:36:00
473阅读
问题发现：本次案例为工作中遇到的实际问题，在语音识别中的语料准备部分，需要从网络中爬取相当数量的相关文本，其中发现爬取到了一些不相关的内容，如何把这些不相关的内容剔除掉成为笔者需要思考的问题。初步思考：遇到此问题笔者第一时间考虑是将文本分词后向量化，使用聚类看一下分布情况，然而发现在不同训练集中，训练样本变化时，向量随之变化，在测试集中表现一般，在实测中几乎无用。于是想到向量化的方法问题，使用sk
转载
2024-10-08 13:22:26
67阅读
法一：Bag-of-words 词袋模型文本特征提取有两个非常重要的模型： 词集模型：单词构成的集合，集合中每个元素都只有一个，也即词集中的每个单词都只有一个词袋模型：如果一个单词在文档中出现不止一次，并统计其出现的次数（频数）两者本质上的区别，词袋是在词集的基础上增加了频率的纬度，词集只关注有和没有，词袋还要关注有几个。假设我们要对一篇文章进行特征化，最常见的方式就是词袋。（
转载
2023-09-04 14:58:40
160阅读
主题模型+TF-IDF提取文本的关键词前言理论代码0. 加载依赖包1. 主题模型类定义2. 数据预处理3. 构建关键词字典，提取给定数据集的关键词4. 主函数入口备注结论 前言如题，本文是LDA（Latent Dirichlet Allocation）主题模型的第二篇，第一篇是 折肘法+困惑度确定LDA主题模型的主题数。在上一篇文章中，简单介绍LDA模型的概念和LDA主题模型的主题数的确定方法-
转载
2023-10-01 16:40:01
199阅读
NLP自然语言处理系列——LDA主题词模型探析
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下： “乔布斯离我们而去了。” “苹果价格会不会降？” 可以看到上面这两个句子没有共同出现的单词，但这两个句
转载
2023-12-20 21:28:15
57阅读
LDA模型LDA是自然语言处理中非常常用的一个主题模型，全称是隐含狄利克雷分布（Latent Dirichlet Allocation）。作用是将文档集中每篇文档的主题以概率分布的形式给出，然后通过分析分到同一主题下的文档抽取其实际的主题（模型运行结果就是一个索引编号，通过分析，将这种编号赋予实际的意义，通常的分析方法就是通过分析每个topic下最重要的term来进行总结归纳），根据主题分布进行主
转载
2023-07-08 17:36:42
357阅读
一、LDA含义：1、一种无监督的贝叶斯模型。 在训练时不需要手工含有label的训练集，仅仅给出文档集以及指定的主题数量k即可（如有100篇文章，需要划分为10个主题） 2、一种词袋模型。 它认为一篇文档是由一组词构成的一个集合，词与词之间不考虑顺序关系。一篇文档可以包含多个主题，文档中的每一个词都可以由其中的一个主题生成。（每个主题之间的词，无交集。） 3、一种主题模型。 它可以将文档集中的每篇
转载
2023-11-29 16:26:53
62阅读
实体抽取实体抽取式nlp中广泛使用信息抽取的关键要素，解码设计实体抽取实际中的问题关系抽取使用序列标注解决关系抽取事件抽取实体抽取怎么标注文本序列标注 实体抽取式nlp中广泛使用实体抽取是自动从非结构化数据或者半结构化数据中抽取结构化信息的任务。信息抽取的关键要素，解码设计1.BIO解码,序列标注，单个或者多类别标注， 2.pointer解码，标注抽取结果的start和end 3.token p
转载
2023-06-25 15:21:34
431阅读
一、简介旨在帮助用户自动挖掘文本标签，是特征关键词提取工具，工具中集成了TextRank、TF-IDF算法、词跨度（SPAN）算法和LDA主题模型算法。使用方法：二、使用方法2.1.TextRank2.1.1.理论参考：2.1.2.调用方法public static void main(String[] args) {
String field = "6个小动作 让你秒秒都能瘦 这
转载
2023-10-05 10:46:27
115阅读
距离初赛结束仅为一周时，只是抱着实战学习NLP的态度来了解比赛，幸运的是，遇到了两位超级强力的队友，我们一起坚持到最后，拿到了复赛的第7名，现在把方案分享出来，欢迎各位同学参考和讨论。代码后续开源比赛回顾 引用官方介绍：京东商品标题包含了商品的大量关键信息，商品标题实体识别是NLP应用中的一项核心基础任务，能为多种下游场景所复用，从标题文本中准确抽取出商品相关实体能够提升检索、推荐等业务场景下的
转载
2023-10-25 12:33:48
161阅读
文章目录PART1：安装Stanford NLPPART2：安装过程问题1）安装包问题2）路径设置3）环境变量PART3：词性标注测试 官网下载：https://stanfordnlp.github.io/CoreNLP/index.html#downloadcoreNLP是斯坦福大学开发的一套关于自然语言处理的工具(toolbox)，使用简单功能强大，有：命名实体识别、词性标注、
转载
2024-05-17 18:17:33
59阅读
# 主题分类与自然语言处理（NLP）
随着科技的发展，自然语言处理（NLP）在各个领域的应用日益广泛。主题分类是NLP中的一个重要任务，它的主要目标是根据文本内容将其分配到多个主题类别中。本文将介绍主题分类的基本概念、常用方法以及用Python实现一个简单的主题分类示例。
## 一、主题分类的概念
主题分类是将文本数据分配到预定义的类别中。例如，在新闻网站中，文章可能会被标记为“体育”、“
1. 预训练语言模型的发展史2018年，BERT被正式提出。下图1回顾了近年来预训练语言模型的发展史以及最新的进展。预训练语言模型的成功，证明了我们可以从海量的无标注文本中学到潜在的语义信息，而无需为每一项下游NLP任务单独标注大量训练数据。此外，预训练语言模型的成功也开创了NLP研究的新范式[6]，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语
一、背景介绍 关键词提取就是从文本里面把跟这篇文章意义最相关的一些词语抽取出来，在文献检索、自动文摘、文本聚类和文本分类等方面有着重要的应用。 关键词提取算法一般分为有监督和无监督两类:有监督：有监督的关键词提取方法主要是通过分类的方式进行，通过构建一个较为丰富和完善的词表，然后判断每个文档与词表中每个词的匹配程度，以类似打标签的方式，达到关键词提取的效果。优点是精度较高，缺点是需要大批量的标
转载
2023-09-13 18:19:02
98阅读
主题模型（topic modeling）是一种常见的机器学习应用，主要用于对文本进行分类。传统的文本分类器，例如贝叶斯、KNN和SVM分类器，只能将测试对象分到某一个类别中，假设我给出三个分类：“算法”、“网络”和“编译”让其判断，这些分类器往往将对象归到某一类中。但是如果一个外行完全给不出备选类别，有没有分类器能够自动给出类别判断呢？ 有，这样的分类器就是主题模型。 潜在狄立
转载
2023-10-28 18:02:10
598阅读
作者|Conner Brew
编译|VK
介绍在本文中，我们将创建一个基于战争研究所（ISW）的结构化文档数据库。ISW为外交和情报专业人员提供信息产品，以加深对世界各地发生的冲突的了解。要查看与本文相关联的原始代码和Notebook，请访问以下链接:https://colab.research.google.com/drive/1pTrOXW3k5VQo1lEaahCo79AHpyp5ZdfQ?
