目录前提数据清洗分词为什么要分词英文分词遇到的问题使用NLTK进行分词情感分析局限性后记 前提文中基于的论文：《卷烟在线评论的文本情感分析》 杨春晓，张鹤馨，黄家雯，万江平．卷烟在线评论的文本情感分析．中国烟草学报. http://kns.cnki.net/kcms/detail/11.2985.ts.20200121.1622.018.html美赛过去之后，2020年的B题即用到了这个知识，当
文本分类是机器学习在自然语言处理中的最常用也是最基础的应用，机器学习相关内容可以直接看我的有关scikit-learn相关教程，本节直接涉及nltk中的机器学习相关内容
先来一段前戏机器学习的过程是训练模型和使用模型的过程，训练就是基于已知数据做统计学习，使用就是用统计学习好的模型来计算未知的数据。机器学习分为有监督学习和无监督学习，文本分类也分为有监督的分类和无监督的分类。有监督
转载
2023-12-03 15:52:30
62阅读
文本摘要提取之前写过一版 文本摘要提取，但那版并不完美。有所缺陷（但也获得几十次收藏）。今天写改进版的文本摘要提取。文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要从给定的一个文档中生成摘要，多文档摘要从给定的一组主题相关的文档中生成摘要。按照输出类型可分为抽取式摘要和生成式摘要。 摘要：意思就是从一段文本 用几句话来概括这段话
转载
2023-09-28 21:57:30
144阅读
作者 | 周俊贤 文本分类是NLP领域的最常见工业应用之一，也是本人在过去的一年中接触到最多的NLP应用，本文「从工业的角度浅谈实际落地中文本分类的种种常见问题和优化方案」。由于，项目中的数据涉密，所以拿公开的两个数据集进行实验讲解：今日头条的短文本分类和科大讯飞的长文本分类，数据集的下载见github的链接。https://github.com/zhou
转载
2024-07-31 20:21:04
29阅读
时间: 2019-8-14引言两篇文章与大家分享，第一篇作者对通用文本匹配模型进行探索，研究了构建一个快速优良的文本匹配模型所需条件，在此条件下，其模型性能与最先进的模型相当，且参数少速度快(6倍)；第二篇主要研究了集成语言输入特征对神经网络模型产生的影响，并且发现输入特性对性能的影响比我们研究的任何体系结构参数都要大。First BloodTILE: Simple and Effective T
转载
2024-07-25 14:40:11
29阅读
NLP-文本挖掘-综述一、什么是文本挖掘二、文本挖掘五个步骤三、7种文本挖掘的方法 一、什么是文本挖掘文本挖掘的意义就是从数据中寻找有价值的信息，来发现或者解决一些实际问题。 每到春节期间，买火车票和机票离开一线城市的人暴增——这是数据 再匹配这些人的身份证信息，发现这些人都是从一线城市回到自己的老家——这是信息 回老家跟家人团聚，一起过春节是中国的习俗——这是知识二、文本挖掘五个步骤数据收集、
转载
2023-07-08 11:38:41
131阅读
摘要：近年来，自然语言处理行业蓬勃发展，在市场上得到广泛应用，尤其是基于NLP的AI伪原创技术。 自从我上学以来，我写了很多文章。文章的深度是不同的。今天，由于某些需要，我再次阅读文章并将它们放在一起，这也可以称为概述。博客上有关于这些问题的详细文章。本文仅是其各个部分的高级摘要。1什么是文本挖掘？文本挖掘是基于文本信息进行知识发现的信息挖掘研究分支。文本挖掘的准备涉及三个步骤：文本收集，文本分析
转载
2024-05-22 17:03:25
43阅读
项目2：新闻文本挖掘与分类MLDL一、 文本分析与可视化读取数据，去除有缺失值的行，分词去除停用词统计词频做词云二、 中文自然语言处理分析1. 关键词提取1.1 基于TF-IDF算法的关键词抽取import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())senten
转载
2023-11-14 09:29:16
119阅读
语言检测，文本清理，长度测量，情绪分析，命名实体识别，n字频率，词向量，主题建模前言在本文中，我将使用NLP和Python解释如何分析文本数据并为机器学习模型提取特征。NLP(自然语言处理)是人工智能的一个领域，研究计算机和人类语言之间的交互，特别是如何编程计算机来处理和分析大量的自然语言数据。NLP经常被应用于文本数据的分类。文本分类是根据文本数据的内容给文本数据分配类别的问题。文本分类最重要的
转载
2024-02-02 09:11:18
28阅读
感谢阅读腾讯AI Lab微信号第49篇文章。NLP领域三大顶会之一的EMNLP即将举办，腾讯AI Lab第2次参与，共16篇文章入选。本文将深度解读与文本生成技术相关的2篇论文。Enjoy！随着近年来端到端的深度神经网络的流行，文本生成逐渐成为自然语言处理中一个热点研究领域。文本生成技术具有广阔的应用前景，包括用于智能对话系统，实现更为智能的人机交互；我们还可以通过自动生成新闻、财报及其它类型的文
转载
2024-01-31 10:01:31
54阅读
情感分析简介 文本情感分析（Sentiment Analysis）是自然语言处理（NLP）方法中常见的应用，也是一个有趣的基本任务，尤其是以提炼文本情绪内容为目的的分类。它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。 本文将介绍情感分析中的情感极性（倾向）分析。所谓情感极性分析，指的是对文本进行褒义、贬义、中性的判断。在大多应用场景下，只分为两类。例如对于“喜爱”和“厌恶”
转载
2023-08-21 09:43:56
110阅读
文本分类概述（NLP）**文本分类问题：**给定文档p，将文档分类为n个类别中的一个或多个 **文本分类应用：**常见的有垃圾邮件识别，情感分析 **文本分类方向：**主要有二分类，多分类，多标签分类 **本分分类方法：**传统机器学习方法（贝叶斯、SVM等），深度学习方法（fastText，TextCNN等） **本文的思路：**本文主要介绍文本分类的处理过程，主要哪些方法。致力让读者明白在处理
转载
2023-08-31 11:03:10
151阅读
本文共计1463字，预计阅读时长八分钟 NLP-基础和中文分词一、本质NLP (Natural Language Processing) 自然语言处理是一门研究计算机处理人类语言的技术二、NLP用来解决什么问题语音合成（Speech synthesis）语音识别（Speech recognition）中文分词（Chinese word segmentation）☆文本分类（Text c
转载
2023-10-15 22:50:17
70阅读
1. 基础概念周所众知，非数值型的文本数据是不能直接输入机器学习模型的，要先经过编码转化成数值型数据才可用于模型训练或预测。而文本表示，就是研究如何将文本数据合理编码成向量或矩阵形式的数值型数据的技术。自然语言文本中，篇章由段落构成，段落由句子组成，而句子由单词构成。而 词典中，每个单词都有多种含义，因此只看文本单独出现的单词难以确定其所想表达的含义；所以只有当单词放到句子中，结合其上下文共同出现
转载
2023-11-27 21:57:07
96阅读
自然语言处理-学习笔记①1.概要2.文本预处理作用及其主要环节2.1文本处理的基本方法:2.1.1分词2.1.2词性标注2.1.3命名实体识别2.2文本张量的表示方法:2.2.1one-hot编码2.2.2word2vec2.2.3word Embedding2.3文本语料的数据分析:2.3.1标签数量分布2.3.2句子长度分布2.3.3词频统计与关键词词云2.4文本特征处理:2.4.1添加n-
转载
2023-10-28 15:43:03
37阅读
当我们拿到一段文本的时候，要经过如何的处理才能进入模型呢，我们把这个过程称为文本预处理。一般经过这几个步骤：原始文本>分词>清洗>标准化>特征提取>建模 1：分词分词的常用工具：Jieba分词 https://github.com/fxsjy/jiebaSnowNLP https://github.com/isnowfy/snownlpLTP h
转载
2023-07-08 11:30:10
1084阅读
背景在信息搜索中，我们做的第一步就是检索。对于文本检索中，第一步就是数据库中的内容与检索的内容进行匹配，符合匹配要求的话就根据相关业务处理。在NLP中，我们可以认为是要让机器去理解检索内容，然后从现有数据库中返回对应内容。从这看文本匹配就是NLU（Nature Language Understand ,自然语言理解）中的核心内容了。再延展一下，搜索这项功能在我们生活中也是太多太多。大众一点就是搜索
转载
2024-08-12 16:20:39
236阅读
文章目录d. SimCSE：2021.04UnsupervisedSupervisede. R-Drop（Supervised）：2021.06f. ESimCSE（Unsupervised）：2021.09g. PromptBERT（Unsupervised）：2022.01h. SNCSE(Unsupervised)：2022.01i. DiffCSE（Unsupervised）：2022.
转载
2023-12-27 06:39:31
90阅读
文本分类是NLP领域最经典的应用场景之一，其实现方法我们可以划分为两类。其一是基于传统机器学习的文本分类，如 TF-IDF文本分类。其二便是基于深度学习方法的文本分类，如Facebook开源的FastText文本分类，Text-CNN 文本分类，Text-CNN 文本分类等。下面我们详细介绍这两种方法。一、机器学习方法文本分类任务可被划分为特征工程和分类器两部分，具体流程如下图所示：特征工程这里的
转载
2023-10-10 14:24:31
86阅读
众所周知，卷积神经网络（CNN）在计算机视觉领域取得了极大的进展，但是除此之外CNN也逐渐在自然语言处理（NLP）领域攻城略地。本文主要以文本分类为例，介绍卷积神经网络在NLP领域的一个基本使用方法，由于本人是初学者，而且为了避免东施效颦，所以下面的理论介绍更多采用非数学化且较为通俗的方式解释。0.文本分类所谓文本分类，就是使用计算机将一篇文本分为a类或者b类，属于分类问题的一种，同时也是NLP中
转载
2023-10-27 19:33:47
150阅读
