本文概述： 1. 卷积神经网络简介 1.1 从传统神经网络到卷积神经网络 1.2 CNN发展历史 2. CNN原理 2.1 数据输入层(Input layer)(数据预处理) 2.2 卷积层(卷积+激活) 2.1.1 卷积如何计算-卷积核大小(1*1, 3*3, 5*5) 2.1.2 卷积如何计算-卷积核步长(stride)
转载
2024-09-27 14:37:25
218阅读
借助kaggle比赛 https://www.kaggle.com/c/jigsaw-unintended-bias-in-toxicity-classification/overview 做些文本分类的总结此次介绍文本分类领域经典模型textCNN，因为结构简单，效果好，提供keras和tensorflow代码供学习相关论文：https://arxiv.org/abs/140
转载
2024-03-21 20:09:29
63阅读
卷积神经网络最具特色的地方在于引入了卷积层，这使得数据量降低，进而在计算能力核内存有限的情况下能够实现深层的网络。卷积核的操作是受生物启发的，它具有局部感知功能。卷积核的Size代表感受野的大小，卷积核的步长度代表提取的精度：例如：Size为3的卷积核，如果step为1，那么相邻步感受野之间就会有重复区域，重复区域是两列的数据；如果step为2，那么相邻感受野的重复区域会更少；；如果step为3，
转载
2024-07-17 11:02:58
30阅读
环境：windows 10、tensorflow版本为2.3.0模型构建与训练定义网络结构定义了一个TextCNN类from tensorflow.keras import Input, Model
from tensorflow.keras.layers import Embedding, Dense, Conv1D, GlobalMaxPooling1D, Concatenate
class
转载
2024-07-17 15:55:22
33阅读
前言:项目基于CNN模型，对输入问题进行训练，让机器可以识别出问题的类别从而通过相应类别查询所要寻找的数据有关于数据部分的链接：https://pan.baidu.com/s/16ZR6LVVLP-_4mXLJG_aD4g?pwd=1111你需要把它放在所建立的py文件通文件夹下，原因如是 注：有关浅谈和一些题外话仅仅作为学习过程中的测试用，代码中不加入无关紧要0.导入包import o
转载
2024-05-17 09:57:26
85阅读
目录第11章 文本分类11.1 文本分类的概念11.2 文本分类语料库11.3 文本分类的特征提取11.4 朴素贝叶斯分类器11.5 支持向量机分类器11.6 标准化评测11.7 情感分析11.8 总结第11章 文本分类上一章我们学习了文本聚类，体验了无须标注语料库的便利性。然而无监督学习总归无法按照我们的意志预测出文挡的类别，限制了文本聚类的应用场景。有许多场景需要将文档分门别类地归入具体的类别
转载
2024-06-12 10:58:25
93阅读
读文章笔记（四）：深度学习文本分类｜模型&代码&技巧FasttextTextCNNDPCNNTextRCNNTextBiLSTM+AttentionHANBERT注意 FasttextFasttext的分类实现很简单：把输入转化为词向量，取平均，再经过线性分类器得到类别。输入的词向量可以是预先训练好的，也可以随机初始化，跟着分类任务一起训练。论文：https://arxiv.org
文章目录前言一、环境：二、数据：三、模型结构四、主要代码1.word2id与id2word2.word2vec3.加载word2vec五、训练及测试未使用预训练词向量使用预训练的词向量总结 前言之前写了一篇fasttext文本分类的文章，三个类别的准确率达到90+%，这篇文章主要是想测试一下TextCNN在文本分类任务上的效果，与fasttext对比，孰优孰劣。 代码已上传至GitHub：Tex
转载
2024-04-08 10:26:10
118阅读
线性滤波与卷积的基本概念 线性滤波可以说是图像处理最基本的方法，它可以允许我们对图像进行处理，产生很多不同的效果。做法很简单。首先，我们有一个二维的滤波器矩阵（有个高大上的名字叫卷积核）和一个要处理的二维图像。然后，对于图像的每一个像素点，计算它的邻域像素和滤波器矩阵的对应元素的乘积，然后加起来，作为该像素位置的值。这样就完成了滤波过程。
转载
2024-07-23 17:13:45
105阅读
github: https://github.com/haibincoder/NlpSummary/tree/master/torchcode/classification 使用TextCNN实现文本分类 使用LSTM实现文本分类 使用Transformers实现文本分类 # model # cod
原创
2022-03-08 10:07:33
535阅读
文本分类问题：给定文档p（可能含有标题t），将文档分类为n个类别中的一个或多个 文本分类应用：常见的有垃圾邮件识别，情感分析 文本分类方向：主要有二分类，多分类，多标签分类 文本分类方法：传统机器学习方法（贝叶斯，svm等），深度学习方法（fastText，TextCNN等） 文本分类的处理大致分为文本预处理、文本特征提取、分类模型构建等。和英文文本处理分类相比，中文文本的预处理是关键技术。&nb
对于实际的文本分类需求，没有标注数据是一件很常见的事情。针对这种情况，有一个最朴素的思路可以做：首先，根据对应的标签名称，使用W2C找到对应的相近词通过相近词，对文本数据做关键词命中，进而映射到对应的类别使用上述的标注数据训练文本分类模型使用3步骤的文本分类模型对新数据预测，获得置信度高的文本，之后做半监督。上面这个思路，非常的简陋，最终的结果也不会很好。实际工作中，需要有大量的规则去补充。今天分
github地址：https://github.com/vivianLL/textClassification_Keras一、基于Keras的文本分类基本流程本文以CAIL司法挑战赛的数据为例，叙述利用Keras框架进行文本分类的一般流程及基本的深度学习模型。 步骤 1：文本的预处理，分词->去除停用词->统计选择top n的词做为特征词 步骤 2：为每个特征词生成ID 步骤 3：将文
转载
2024-11-01 22:29:18
59阅读
我们在下面的类中实现textCNN模型。的双向循环神经网络模型相比，除了用卷积层代替循
原创
精选
2023-04-25 21:18:40
440阅读
一、架构图 二、代码实现 class TextCNN(nn.Module): def __init__(self, config:TCNNConfig, char_size = 5000, pinyin_size=5000): super(TextCNN, self).__init__() self ...
转载
2021-08-09 12:31:00
2271阅读
2评论
本次将使用PyTorch实现中文文本分类。主要代码与上周篇基本一致，不同的是本次任务中使用了本地的中文数据。步骤：文本清洗（处理标点符号，特殊字符）分词（jieba分词）文本向量化建模导入库，加载数据自定义数据迭代器函数 (coustom_data_iter)：接受两个参数，texts 和 labels，假设它们是文本数据和相应标签的可迭代集合（例如，列表或数组）。使用 zip 函数并行迭代tex
【原创】文本分类算法TextCNN原理详解（一） - ModifyBlog - 博客园
原创
2021-11-20 15:16:16
1666阅读
1 大纲概述 文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量 textCNN 模型 charCNN 模型 Bi-LSTM 模型 Bi-LSTM + Attention 模型 RCNN 模型 Adversarial LSTM 模型 Transform
转载
2024-08-09 00:01:59
115阅读
当前的文本分类任务需要利用众多标注数据，标注成本是昂贵的。而半监督文本分类虽然减少了对标注数据的依赖，但还是需要领域专家手动进行标注，特别是在类别数目很大的情况下。试想一下，我们人类是如何对新闻文本进行分类的？其实，我们不要任何标注样本，只需要利用和分类类别相关的少数词汇就可以啦，这些词汇也就是我们常说的关键词。BUT！我们之前获取分类关键词的方式，大多还是需要靠人工标注数据、或者人工积累关键词表
1. 数据预处理1.1 下载搜狗实验室提供的新闻预料(提取码krbd)1.2 xml文本解析extract_text.py ： 读取SogouCS_reduced文件夹下的文件，进行xml解析，得到每个新闻的content，并将其放在对应的分类文件夹下；split_text.py ： 读取分类好的新闻预料（SogouCS_reduced_after文件夹下），采用jieba库进行分词，其中停用词表
转载
2024-09-26 10:16:44
88阅读
