“
文本分类是自然语言处理领域一个非常经典的任务，一般文本分类分为三种，基于规则的文本分类，基于机器学习的文本分类和基于深度学习的文本分类。本文我们重点关注基于深度学习的文本分类，并为大家介绍文本分类中非常经典的fasttext和textcnn。 ”
01 简介文本分类是对给定文档，对文档进行归类的过程，常见的文本分类任务是垃圾邮件识别和情感分析。文本分类的处理大致分为
转载
2024-08-12 16:20:39
29阅读
训练集在训练过程中，loss稳步下降，准确率上升，最后能达到97% 验证集准确率没有升高，一直维持在50%左右（二分类问题，随机概率） 测试集准确率57% 在网上搜索可能打的原因： 1.learning rate太小，陷入局部最优2.训练集和测试集数据没有规律3.数据噪声太大4.数据量太小（总共1440个样本，80%为训练集）5.训练集和测试集数据分布不同：如训练集正样本太少（如果训练集和测试集每
转载
2024-05-09 12:09:45
200阅读
相关理论可以看这篇文章 Deep Learning using Linear Support Vector Machines，ICML 2013主要使用的是SVM的hinge loss形式的损失函数原始的SVM的损失：（公式图片截取自开头的论文）SVM的hinge loss形式的损失：（公式图片截取自开头的论文）这里解决的是二分类问题，多分类的话和softmax一样，简单说明如下：（公式
转载
2024-03-21 21:37:08
82阅读
目录概述Bi-LSTMpytorch实现中的关键代码部分总结参考概述文本分类任务中，CNN可以用来提取句子中类似N-Gram的关键信息，适合短句子文本。尽管TextCNN能够在很多任务里面能有不错的表现，但CNN有个最大问题是固定filter_size的视野，一方面无法建模更长的序列信息，另一方面filter_size的超参调节也很繁琐。CNN本质是做文本的特征表达工作，而自然语言处理中更常用的是
转载
2023-10-12 12:25:16
128阅读
总览本教程分为五个部分，分别是：词嵌入（Word Embeddings） + 卷积神经网络（CNN，Convolutional Neural Network） = 文本分类使用一个单层 CNN 架构调整 CNN 超参数考虑字符级的 CNN考虑用更深层的 CNN 进行分类1.词嵌入 + CNN = 文本分类文本分类的操作方法包括：使用词嵌入来表示单词，使用卷积神经网络（CNN）来学习如何辨别分类问题
引言简介目前深度学习应用日趋广泛，而卷积神经网络（CNN）作为一种针对图像处理及其有效的网络框架在图像分类领域表现出了良好的性能与准确率。但是对于高光谱图像分类问题CNN也出现了一些问题。 它们主要包括：1.同一类别的像素可能具有不同的光谱特征，不同类别的像素又可能具有相同的光谱特征，因此仅利用光谱特征很难区分不同像素代表的类别。 2.不能利用高光谱图像当中充足的空间信息与光谱信息。 3.不能充分
新闻分类：多分类问题本节任务描述： 将路透社新闻划分为 46 个互斥的主题。因为有多个类别，所以这是多分类（multiclass classification）问题的一个例子。这是单标签、多分类（single-label, multiclass classification） 问题的一个例子。如果每个数据点可以划分到多个类别（主题），那它就是一个多标签、多分类（multilabel, multic
转载
2024-05-30 07:21:27
141阅读
二分~多分~Softmax~理预一、简介 在二分类问题中，你可以根据神经网络节点的输出，通过一个激活函数如Sigmoid，将其转换为属于某一类的概率，为了给出具体的分类结果，你可以取0.5作为阈值，凡是大于0.5的样本被认为是正类，小于0.5则认为是负类 然而这样的做法并不容易推广到多分类问题。多分类问题神经网络最常用的方法是根据类别个数n，设置n个输出节点，这样每个样本，神经网络都会给出一个n维
文章目录原理介绍实战 原理介绍这里就简单介绍几句原理，因为讲的细的blog超级多。（一共三个模块，这篇只是数据处理模块） 传统的CNN用来处理图像数据，通过卷积提取特征，方便处理。文本和图像的区别在于文本的特征相对较少，所以可以采用一维卷积进行特征提取。 步骤如下： （一）文本拉伸成一个图片（矩阵）：词嵌入，可以采用w2v （二）卷积层：对矩阵进行卷积 （三）池化层：Max Pooling 使卷
转载
2024-05-03 14:37:21
76阅读
1 前言Sentencepiece是google开源的文本Tokenzier工具，其主要原理是利用统计算法，在语料库中生成一个类似分词器的工具，外加可以将词token化的功能；对比开源的分词器，它会将频繁出现的字符串作为词，然后形成词库进行切分，所以它会切分的粒度会更大些。例如“机器学习领域“这个文本，按jieba会分“机器/学习/领域”，但你想要粒度更大的切分效果，如“机器学习/领域”或者不切分
转载
2024-06-17 13:30:11
57阅读
CNN本质上是一个多层感知机，其成功的原因关键在于它所采用的局部连接和共享权值的方式，一方面减少了的权值的数量使得网络易于优化，另一方面降低了过拟合的风险。该优点是使图像可以直接作为网络的输入，网络能自行抽取图像特征，包括颜色、纹理、形状及图像的拓扑结构，避免了传统识别算法中复杂的特征提取和数据重建过程，并且在位移、缩放及其它形式扭曲不变性（这是因为局部感知区域能够获得一些基础的特征，
转载
2024-06-12 16:09:27
121阅读
一、图像分类概述 本模块是用在图像内容识别的部分，图像分类是利用计算机对图像进行定量分析，把图像中的每个像元或区域划归为若干个类别中的一种，以代替人工视觉判读的技术。从目视角度来说，对图像进行提高对比度、增加视觉维数、进行空间滤波或变换等处理的目的就是使人们能够凭借知识和经验，根据图像亮度、色调、位置、纹理和结构等特征，准确地对图像景物类型或目标做出正确的判读和解释。 特征提取是计算机
转载
2024-08-10 23:24:45
57阅读
本人也是小白一枚，主要是边学习边记录，打算把一些学到的算法整理一下，方便以后回顾。如果有不对的地方，希望大家指证，一起共同成长。目标：利用BP神经网络解决多分类问题 库：pyorch、numpy根据此问题，主要为四部分：数据集的读取，模型的搭建，训练，预测。一：数据集读取 前提采用txt文件存储数据，例如下图（形式：特征数据和种类数间均为以空格或TAB键分隔，每行表示一组数据，其中最后一个数表示种
转载
2023-09-08 18:35:23
62阅读
分类问题可以划分为两类：二分类问题及多分类问题，误差和精度误差和精度是性能评估的两个最基本的指标。这两个指标具有很好的普适性，同时适⽤于⼆分类和多分类问题。 误差是指分类错误的样本数占样本总数的⽐例，精度是指分类正确的样本数占样本总数的⽐例。表⽰模型的预测值， 函数当其内部条件满⾜是为 不满⾜时为。准确率，召回率和 F Score准确率，召回率和 F Score 是评价⼆分类问题的重要评价指标。
我们知道在卷积神经网络不仅用于图像处理领域，在NLP领域也会有很好的使用效果，其中TextCNN是卷积神经网络在文本处理方面的一个知名的模型。在TextCNN模型中通过卷积技术实现对文本的分类功能。目前文本分类在工业界的应用场景非常普遍，从新闻的分类、商品评论信息的情感分类到微博信息打标签辅助推荐系统，都用到了这种技术。下面我们主要了解这个模型的实战以及注意点。目录一、卷积神经网络1.1、一维卷积
转载
2024-04-16 10:07:10
230阅读
1.前言最近需要用到卷积神经网络(CNN)，在还没完全掌握cuda+caffe+TensorFlow+python这一套传统的深度学习的流程的时候，想到了matlab，自己查了一下documentation,还真的有深度学习的相关函数。所以给自己提个醒，在需要用到某个成熟的技术时先查一下matlab的帮助文档，这样会减少很多时间成本。记得机器学习的大牛Andrew NG.说过在硅谷好多人都是先用m
转载
2024-03-27 08:33:05
13阅读
在之前介绍的“卷积神经网络”中我们探究了如何使用二维卷积神经网络来处理二维图像数据。在语言模型和文本分类任务中，我们将文本数据看作是只有一个维度的时间序列，并很自然地使用循环神经网络来表征这样的数据。其实，我们也可以将文本当作一维图像，从而可以用一维卷积神经网络来捕捉临近词之间的关联。本文将介绍将卷积神经网络应用到文本分析的开创性工作之一：textCNN 。 目录1. 一维卷积层2. 时序最大池化
转载
2024-04-07 21:21:55
352阅读
任务RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题（梯度问题、长期依赖问题）、BPTT算法。 双向RNN 递归神经网络 LSTM、GRU的结构、提出背景、优缺点。 针对梯度消失（LSTM等其他门控RNN）、梯度爆炸（梯度截断）的解决方案。 Memory Network（自选） Text-RNN的原理。 利用Text-RNN模型来进行文本分类。 Recurr
转载
2024-01-04 14:58:38
50阅读
LeNet-5 CNN分类网络开端，用于手写字符识别识别率相当高。 创建卷积框，设置大小、步长、数量等，对图像进行卷积操作，提取特征的操作，池化降维，全连接分类输出。之后的分类网络都是基于此框架进行的优化。AlexNet 作为2012年ImageNet分类冠军，把LeNet发扬光大，运用了Relu，Dropout，LRN等trick，并且使用GPU加速。 使用Relu 对梯度衰减进行加速，并且一定
转载
2024-03-23 10:35:37
31阅读
CNN、RNN、GAN网络一、CNN**1、结构****2、应用****3、CNN的类型综述**二、RNN**1、结构****2、应用****3、RNN类型**三、GAN**1、结构****2、应用****3、GAN类型** 一、CNN1、结构卷积神经网络CNN（带有卷积的一类网络总称） 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有
转载
2024-03-26 11:00:46
374阅读
