本文主要是参考了网上的文本分类例子，但网上的例子不够完善，只实现了训练的步骤，在此基础上，增加了模型数据保存，及如何调用模型。废话少说，上代码：（其中训练数据请自行下载，头条新闻数据下载链接：链接：https://pan.baidu.com/s/1smvf5IzOMh4-lSK0kyPWNQ 提取码：aaaa预训练模型用的是“ch
转载
2024-10-17 06:11:04
24阅读
此笔记本（notebook）使用评论文本将影评分为*积极（positive）或消极（nagetive）两类。这是一个二元（binary）*或者二分类问题，一种重要且应用广泛的机器学习问题。准备工作导入所需库import tensorflow as tf
from tensorflow import keras
import numpy as np导入数据集imdb = keras.dataset
转载
2024-06-05 11:13:41
155阅读
本节来介绍一下使用 RNN 的 LSTM 来做 MNIST 分类的方法，RNN 相比 CNN 来说，速度可能会慢，但可以节省更多的内存空间。
初始化首先我们可以先初始化一些变量，如学习率、节点单元数、RNN 层数等：learning_rate = 1e-3
num_units = 256
num_layer = 3
input_size = 28
time_step = 28
tota
上一篇博客主要介绍了在文本在输入到模型前做的一系列必不可少的数据预处理操作。本篇博客主要介绍一下作为baseline的文本分类任务的模型在tf2.x框架下是如何构建的。 提到文本分类，现在基本都是想到深度学习，
转载
2024-08-21 21:35:30
32阅读
整体背景本文实现了在colab环境下基于tf-nightly-gpu的BERT中文多分类，如果你在现阶段有实现类似的功能的需求，相信这篇文章会给你带来一些帮助。准备工作1.环境：硬件环境：直接使用谷歌提供的免费训练环境colab，选择GPU软件环境：tensorflow：tensorflow2.1.0版本对BERT的支持有些问题，现象是可以训练但预测时无法正常加载模型（稍后代码里会详述），因此改为
转载
2023-07-07 11:11:25
171阅读
目录 大纲概述 数据集合 数据处理 预训练word2vec模型 一、大纲概述 文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量textCNN 模型charCNN 模型Bi-LSTM
转载
2024-05-12 18:53:38
161阅读
Bert是去年google发布的新模型，打破了11项纪录，关于模型基础部分就不在这篇文章里多说了。这次想和大家一起读的是huggingface的pytorch-pretrained-BERT代码examples里的文本分类任务run_classifier。关于源代码可以在huggingface的github中找到。 huggingface/pytorch-pretrained-
转载
2023-11-10 11:17:38
107阅读
今天分享的论文主要是讲Bert如何在文本分类上获得比较好的效果，比较简单：How to Fine-Tune BERT for Text Classification?[1]：不涉及什么复杂公式，也比较早了，里面很多东西对于当下已经司空见惯，我就直接就分享论文结论，攒个思路。1. 如何处理长文本我比较感兴趣的是一点是Bert处理长文本的思路。首先数据集是IMDB，文本分类任务，超过512个token
转载
2024-08-13 11:37:27
39阅读
最近参加了一个关于医疗短文本分类的比赛。刚开始用了SVM、xgBoost效果都不是很好，群里有人说BERT的效果不错，于是自己赶鸭子上架，根据网上的文章，手动实践，赶在比赛结束前一天提交了结果，效果确实比传统机器学习模型要强得多，特记录一下详细步骤与程序。1. 环境配置本实验使用操作系统：Ubuntu 18.04.3 LTS 4.15.0-29-generic GNU/Linux操作系统。1.1
转载
2024-03-17 10:11:25
167阅读
在这个博文中，我将向你们分享如何使用 Java 进行 BERT 文本分类的过程。BERT（Bidirectional Encoder Representations from Transformers）是一种强大的预训练模型，在自然语言处理（NLP）领域有着广泛的应用。文本分类作为 NLP 的一项基本任务，常常被用于情感分析、主题分类等诸多场景。因此，能够在 Java 上实现基于 BERT 的文本
# 使用PyTorch实现BERT文本分类的指南
对于刚入行的小白，掌握文本分类的基本流程是非常重要的。在本文中，我们将通过使用PyTorch和BERT来实现文本分类。整个过程可分为几个步骤：
## 流程概览
| 步骤 | 描述 |
|---------|-----------------
写在前面在前面的几篇博客中都是针对图像进行的深度学习，那在本文中将把目光转向文本分类的深度学习，并从处理数据开始，完整实现一个简单的TextCNN模型。目的是文本分类的TextCNN在网络搭建的处理上和VGG-16的过程大同小异，且它的网络结构相比VGG-16简单很多。然而，由于我暂时没有找到面向文本数据的好用的数据转换库，所以本文更多的笔墨放在了如何根据自己的数据来搭建一个TextCNN模型。
# 使用 BERT 进行文本分类：PyTorch 实战
## 介绍
近年来，预训练的语言模型如 BERT（Bidirectional Encoder Representations from Transformers）在自然语言处理（NLP）领域取得了显著的进步。BERT 通过在大规模文本数据上进行预训练，能够理解语言的上下文，从而在多项任务中展现出色的性能。本篇文章将带您了解如何在 PyTo
Bert是去年google发布的新模型，打破了11项纪录，关于模型基础部分就不在这篇文章里多说了。这次想和大家一起读的是huggingface的pytorch-pretrained-BERT代码examples里的文本分类任务run_classifier。关于源代码可以在huggingface的github中找到。 huggingface/pytorch-pretrained-
转载
2023-11-11 20:58:48
112阅读
网上多是Bert中文文本分类居多，之前找了很久才找到一篇参考文章，深知对于小白而言借鉴别人的代码训练模型重点在输入输出及改动参数，在这里说一下我借鉴别人的代码跑出自己的数据集的过程。 参考的作者是：https://www.bilibili.com/v
转载
2023-09-11 22:31:20
256阅读
本文将会介绍如何在PyTorch中使用CNN模型进行中文文本分类。 使用CNN实现中文文本分类的基本思路：文本预处理将字（或token）进行汇总，形成字典文件，可保留前n个字文字转数字，不在字典文件中用表示对文本进行阶段与填充，填充用，将文本向量长度统一建立Embedding层建立CNN模型训练模型，调整参数得到最优表现的模型，获取模型评估指标保存模型，并在新样本上进行预测 我们以搜狗小
转载
2023-10-26 21:32:21
156阅读
Tensorflow2 图像预处理部分详解本文基于Tensorflow2官方文档（https://tensorflow.google.cn/api_docs/python/tf/keras/preprocessing/image ）编写并配合相应的测试代码。tensorflow2提供了一系列实时的图像增强方法。TF提供了4个类和14个方法。四个类主要是批量的获取图像数据以及数据增强：Di
最近使用 BERT 做文本二分类，为了 finetune 出高准确度的模型趋于崩溃。我的数据特点是文本较短、包含网络用语、句子结构不完整、混杂缩写和错别字，和中文 BERT 预训练使用的 wiki 语料实在是差得太远了。因此，我一方面扩充数据，一方面调研领域适配的方案。这期间读到了邱锡鹏老师在 NIPS-2020 的一篇 workshop，专门介绍 BERT 用于中文文本分类的各种
转载
2024-01-24 15:42:39
111阅读
最近项目组让我做一个文本分类的小任务，我一直习惯了做NLP的各种任务都起手用BERT看效果，这次数据质量较高，虽然label有点多，但F1还是达到了0.9以上。 之前对BERT的预训练过程做过详细解释，文章中的
转载
2024-01-12 23:37:09
100阅读
声明：关于文章：内容：使用bert进行新闻文本分类，
目的：熟悉预训练模型的使用过程以及数据处理，和模型的各个接口，输入输出，做到对bert的简单使用
环境：windows，pytorch，transformer，sklearn这些库都需要自行下载，
另外，文章字不多，所有解释都在代码的注释中，基本每一行都有注释，我也手撕过bert、transformer代码，有时间或者有用的话也写出来分享给大家
转载
2024-01-12 23:43:51
0阅读
