前言这些知识点基本是本人在准备春招和秋招时做的笔记，东西比较杂，有的是自己总结，有的是参考网上博客，可能不是很准确，还望各位批评指正，多多交流。问-31：GloVe相对于word2vec有哪些优缺点？答： 优点： 1：统计全局信息： 考虑了全局的统计信息，在小数据集上也能有不错的效果，word2vec只使用局部的信息 2：训练速度更快： 从其实现上来说，更容易实现并行化，所以训练速度更快，相对于C
转载
2024-01-05 21:59:48
70阅读
参考 Convolutional Neural Networks for Sentence Classification(2014) 将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似于多窗口大小的ngram），从而能够更好地捕捉局部相关性。TextCNN 是利用卷积神经网络对文本进行分类的算法，由 Yoon Kim 于201
转载
2024-09-25 11:07:08
46阅读
NLP实践——多层多分类项目NeuralNLP-NeuralClassifier1. 项目介绍2. 运行环境3. 项目目录4. 数据格式5. 官方使用方法5.0 config参数介绍5.1 训练5.2 评估5.3 预测6. 修改后实现的使用方法6.1 训练6.2 评估6.3 预测总结 1. 项目介绍此项目是腾讯开发的一个多层多分类应用工具，支持的任务包括，文本分类中的二分类、多分类、多标签，以及
转载
2023-10-15 11:59:48
47阅读
CNN最初是用于图像分类。因为图像的分类信息往往只是体现在图像的某个局部特征上，而CNN能通过训练，去寻找这个局部特征。CNN在图像里，采用的是2D的卷积，如图所示。 NLP中，对一段文字进行分类（比如情感分析）时，和图像一样，往往是局部的几个词会体现出要表达文字的情感，因此也可以用CNN进行处理。和RNN不同，RNN适用于要根据整段话，提炼出相应的信息。因此RNN需要将这段文字进行encoder
转载
2023-11-02 22:29:26
59阅读
NLP（十六）轻松上手文本分类
背景介绍 文本分类是NLP中的常见的重要任务之一，它的主要功能就是将输入的文本以及文本的类别训练出一个模型，使之具有一定的泛化能力，能够对新文本进行较好地预测。它的应用很广泛，在很多领域发挥着重要作用，例如垃圾邮件过滤、舆情分析以及新闻分类等。
现阶段的文本分类模型频出，种类繁多，花样百变，既有机器学习中的朴素贝叶斯
转载
2023-09-14 12:26:44
78阅读
NLP——文本分类模型（一）1、引入最为自然语言处理中最为基础的任务，文本分类一直受到了很多的关注，本文主要关注在深度学习在文本分类中的应用。通过textCNN，DCNN，RCNN，HAN四种经典的文本分类模型来描述深度学习在文本分类模型中的应用。2、textCNN模型2.1 textCNN的引入目前，大多数的深度学习都是从CNN神经网络模型开始的，我们知道，CNN模型被更多的应用在了图像领域之中
转载
2023-10-03 21:13:37
101阅读
# 自然语言处理（NLP）中的分类任务
随着人工智能技术的快速发展，自然语言处理（NLP）已成为计算机科学和人工智能领域的重要研究方向。NLP的一个关键任务是文本分类。文本分类就是将文本数据根据特定的标准分配到一个或多个类别中的过程。本文将介绍NLP分类的基本概念，并通过代码示例为您演示如何使用Python进行文本分类。
## 文本分类的基本概念
文本分类是一种监督学习任务，其中每个输入文本
# 多分类不平衡问题在自然语言处理中的探讨
## 引言
在自然语言处理（NLP）领域中，越来越多的应用依赖于分类模型来对文本进行精确的分类。然而，当数据集中各个类别的样本数量不均衡时，分类模型的效果就会受到很大影响。这种情况被称为多分类不平衡问题。本篇文章将深入探索这一问题，并通过代码示例来展示如何解决它。
## 多分类不平衡问题的定义
多分类不平衡问题是指在一个有多个分类的任务中，某些分
大家好，我是泰哥。我之前做实体标注项目使用过标注精灵、BRAT、YEDDA、DeepDive等标注工具，这些工具虽然可以满足实体标注需求，但安装过程复杂、英文界面、有时会有卡顿，对标注人员都很不友好。而我目前要做的任务需要能同时对数据进行实体标注和文本分类标注，以上提到的工具都很难满足，分开标注效率又太低。于是我找到了rasa-nlu-trainer标注工具，免费、无需安装、无需注册、操作快捷且能
转载
2023-09-12 23:11:21
110阅读
实战:://github.com/jiangxinyang227/NLP-Project一、简介：1、传统的文本分类方法：【人工特征工程+浅层分类模型】 （1）文本预处理：①（中文）文本分词正向/逆向/双向最大匹配;基于理解的句法和语义分析消歧；基于统计的互信息/CRF方法；WordEmbedding + Bi-LSTM+CRF方法去停用词：维护一个停用词表（2）特征提取特征选
转载
2023-07-31 22:58:47
554阅读
由于实验室目前研究方向偏重于NLP和知识图谱，在学习了一段时间机器学习相关内容后，也决定暂时侧重于NLP相关内容的研究。对NLP方面的相关调研工作做一个总结，顺序不分先后。这部分内容可能和笔记-深度学习场景调研有交集，在此就不重复写已有的东西。依存句法分析（Dependency Parsing，DP）、语义依存分析（Samantic Dependency Parsing，SDP）、语义角色标注（S
转载
2024-05-22 17:02:32
41阅读
Datawhale 作者：陈琰钰越来越多的人选择参加算法赛事，为了提升项目实践能力，同时也希望能拿到好的成绩增加履历的丰富度。期望如此美好，现实却是：看完赛题，一点思路都木有。那么，当我们拿到一个算法赛题后，如何破题，如何找到可能的解题思路呢。本文针对NLP项目给出了4种常见的解题思路，其中包含1种基于机器学习的思路和3种基于深度学习的思路。一、数据及背景https://ti
转载
2024-07-31 12:17:25
93阅读
概述1 文本分类问题2 文本分类应用3 文本分类方向4 文本分类方法5 文本分类流程6 文本分类关键问题6.1 文本预处理6.1.1 中文分词6.1.2 去停用词6.1.3 词性标注6.2 文本特征工程6.2.1 基于词袋模型的特征表示6.2.2 基于embedding的特征表示6.2.3 基于NN Model抽取的特征6.2.4 基于任务本身抽取的特征6.2.5 特征融合6.2.6 主题特征参
转载
2023-11-10 21:40:28
72阅读
综述图像相比文字能够提供更加生动、容易理解及更具艺术感的信息，图像分类是根据图像的语义信息将不同类别图像区分开来，是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。图像分类在安防、交通、互联网、医学等领域有着广泛的应用。一般来说，图像分类通过手工提取特征或特征学习方法对整个图像进行全部描述，然后使用分类器判别物体类别，因此如何提取图像的特征至关重要。基于深度学习的图像分类方法，可以
转载
2024-03-06 11:41:28
67阅读
NLP自然语言处理实例——实现机器自动生成商品的推荐标题和推荐语一、案例目的及实现二、环境配置1、安装库时遇到的问题三、数据预处理1.移除特殊符号2.去除停用词3.文本分词jiaba四、主题词提取1.简单介绍Textrank算法2.LDA模型3.最优TF-IDF算法 一、案例目的及实现本案例主要介绍自然语言处理方面的核心技术，其中主要是文本处理相关技术，例如分词、词性标记、情感分析、语言模型、语义
转载
2023-10-31 10:38:33
13阅读
分类是指解决预测样本所属类别的一类问题，即对于给定样本x，输出x所属的类别。当供选择的类别只有2个时，称为二分类，反之称为多分类。而多分类的问题也可以通过二分类来解决。具体来说包含one-vs-one和one-vs-rest两种方案。one-vs-one：进行多轮的二分类，每次比较两个不同的分类，枚举所有的所有的两个分类的组合；理想情况下应该有且仅有一个类别在每一次比较中都被选中，成为预测结果。one-vs-rest：进行多轮的二分类，每次比较某个类别和非该类别，枚举所有的类别；理想情况下应该有一个
原创
2021-08-26 10:52:50
360阅读
分类是指解决预测样本所属类别的一类问题，即对于给定样本x，输出x所属的类别。当供选择的类别只有2个时，称为二分类，反之称为多分类。而多分类的问题也可以通过二分类来解决。具体来说包含one-vs-one和one-vs-rest两种方案。one-vs-one：进行多轮的二分类，每次比较两个不同的分类，枚举所有的所有的两个分类的组合；理想情况下应该有且仅有一个类别在每一次比较中都被选中，成为预测结果。one-vs-rest：进行多轮的二分类，每次比较某个类别和非该类别，枚举所有的类别；理想情况下应该有一个
原创
2022-03-28 15:26:01
190阅读
NLP——文本分类模型（二）在之前的文章中NLP——文本分类模型（一）中，我们具体简述了TextCNN文本分类模型，下面，我们重点介绍关于CNN应用于文本分类的另外两个常见模型DCNN模型和RCNN模型。1、DCNN(Dynamic CNN)模型1.1 模型引入在上一篇文章中，我们提到过，在TextCNN模型中，我们的具体处理方式是卷积+池化的过程，在卷积的过程中，我们定义了不同的卷积核来表示不同
转载
2023-11-03 09:53:31
92阅读
接上篇文章《NLP系列文章（一）——按照学习思路整理发展史》继续讲述NLP预训练的那些事 1、NLP领域任务分类 通常，NLP问题可以划分为四类任务：序列标注、分类任务、句子关系判断、生成式任务。 序列标注：典型的NLP任务，比如分词、词性标注、命名体识别、语义角色标注……，序列标注任务的特点是句子中每个单词都要求模型根据上下文给出一个分类类别。 分类任务：比如文本分类、情感计算……，分
转载
2023-07-31 18:35:09
113阅读
文本分类 （Text Classification 或 Text Categorization，TC）指计算机将载有信息的一篇文本映射到预先给定的某一类别或某几类别主题的过程，实现这一过程的算法模型叫做分类器。基本分类根据预定义的类别不同，文本分类分两种：二分类和多分类，多分类可以通过二分类来实现。根据文本的标注类别上来讲，文本分类又可以分为单标签和多标签，因为很多文本同时可以关联到多个
转载
2023-09-18 14:54:36
107阅读
