近年来，倾向于开发更复杂的深度学习模型从而提高模型的准确性，但这也导致了模型计算资源消耗和广泛可用性的问题，因为我们不能在资源受限的设备(如移动设备和嵌入式设备)上使用如此巨大的模型。这是否意味我们必须使用更轻量化的模型，即使精度有所下降?是否有可能在智能手机或树莓派(Raspberry Pi)甚至微控制器等设备上部署这些复杂的模型呢?使用TensorFlow Lite优化模型是这些问题的答案。这
本文主要是参考了网上的文本分类例子，但网上的例子不够完善，只实现了训练的步骤，在此基础上，增加了模型数据保存，及如何调用模型。废话少说，上代码：（其中训练数据请自行下载，头条新闻数据下载链接：链接：https://pan.baidu.com/s/1smvf5IzOMh4-lSK0kyPWNQ 提取码：aaaa预训练模型用的是“ch
转载
2024-10-17 06:11:04
24阅读
本节来介绍一下使用 RNN 的 LSTM 来做 MNIST 分类的方法，RNN 相比 CNN 来说，速度可能会慢，但可以节省更多的内存空间。
初始化首先我们可以先初始化一些变量，如学习率、节点单元数、RNN 层数等：learning_rate = 1e-3
num_units = 256
num_layer = 3
input_size = 28
time_step = 28
tota
本文基于transformers库，调用bert模型，对中文、英文的稠密向量进行探究开始之前还是要说下废话，主要是想吐槽下，为啥写这个东西呢？因为我找了很多文章要么不是不清晰，要么就是基于pytorch，所以特地写了这篇基于tensorflow2.0+的运行环境这个环境没有严格要求，仅供参考 win10 + python 3.8 + tensorflow 2.9.1 + transformers
此笔记本（notebook）使用评论文本将影评分为*积极（positive）或消极（nagetive）两类。这是一个二元（binary）*或者二分类问题，一种重要且应用广泛的机器学习问题。准备工作导入所需库import tensorflow as tf
from tensorflow import keras
import numpy as np导入数据集imdb = keras.dataset
转载
2024-06-05 11:13:41
155阅读
整体背景本文实现了在colab环境下基于tf-nightly-gpu的BERT中文多分类，如果你在现阶段有实现类似的功能的需求，相信这篇文章会给你带来一些帮助。准备工作1.环境：硬件环境：直接使用谷歌提供的免费训练环境colab，选择GPU软件环境：tensorflow：tensorflow2.1.0版本对BERT的支持有些问题，现象是可以训练但预测时无法正常加载模型（稍后代码里会详述），因此改为
转载
2023-07-07 11:11:25
171阅读
上一篇博客主要介绍了在文本在输入到模型前做的一系列必不可少的数据预处理操作。本篇博客主要介绍一下作为baseline的文本分类任务的模型在tf2.x框架下是如何构建的。 提到文本分类，现在基本都是想到深度学习，
转载
2024-08-21 21:35:30
32阅读
关于Tensorflow2.0版本的Bert模型 我在网上找了很久也没找到。大家应该都知道Bert模是用了Transformer模型的Encoder部分。并且我找到了Tensorflow2.0版本下的Transformer模型而且还做了个中英翻译所以我就把Tansformer模型稍微该了下，把Decoder部分去掉只剩下Encoder部分，并找了一些数据做了一个实体命名识别的例子。最后模型训练完准
转载
2024-05-09 13:32:33
82阅读
某某鹏BERT入门总结一、前言二、BERT简介三、准备工作1、下载2、conda换源四、anaconda安装tensorflow1、建立tensorflow虚拟环境2、安装tensorflow五、计算文本相似度1、安装bert-as-servic2、下载模型3、启动bert4、使用预训练词向量（中文测试）六、一些报错1、报错ImportError: cannot import name 'abs
转载
2024-05-10 18:41:52
955阅读
背景使用BERT-TensorFlow解决法研杯要素识别任务，该任务其实是一个多标签文本分类任务。模型的具体不是本文重点，故于此不细细展开说明。本文重点阐述如何部署模型。模型部署官方推荐TensorFlow模型在生产环境中提供服务时使用SavedModel格式。SavedModel格式是一种通用的、语言中立的、密闭的、可恢复的TensorFlow模型序列化格式。SavedModel封装了Tenso
转载
2024-03-28 10:40:30
74阅读
1 模型结构论文信息：2018年10月，谷歌，NAACL 论文地址 https://arxiv.org/pdf/1810.04805.pdf 模型和代码地址 https://github.com/google-research/bertBERT自18年10月问世以来，就引起了NLP业界的广泛关注。毫不夸张的说，BERT基本上是近几年来NLP业界意义最大的一个创新，其意义主要包括大幅提高了GLUE任
转载
2024-03-18 16:51:33
90阅读
BERT问答BERT分为哪两种任务，各自的作用是什么；在计算MLM预训练任务的损失函数的时候，参与计算的Tokens有哪些？是全部的15%的词汇还是15%词汇中真正被Mask的那些tokens？在实现损失函数的时候，怎么确保没有被 Mask 的函数不参与到损失计算中去；BERT的三个Embedding为什么直接相加？BERT的优缺点分别是什么？你知道有哪些针对BERT的缺点做优化的模型？BERT怎
最近，笔者想研究BERT模型，然而发现想弄懂BERT模型，还得先了解Transformer。
本文尽量贴合Transformer的原论文，但考虑到要易于理解，所以并非逐句翻译，而是根据笔者的个人理解进行翻译，其中有一些论文没有解释清楚或者笔者未能深入理解的地方，都有放出原文，如有不当之处，请各位多多包含，并希望得到指导和纠正。论文标题Attention Is ALL You Need论文地址htt
# BERT分类器的简单实现
随着自然语言处理（NLP）技术的迅速发展，BERT（Bidirectional Encoder Representations from Transformers）已成为文本分类任务中的一项重要工具。BERT模型的优势在于它可以捕捉上下文中的信息，因此在很多任务上表现出色。本文将通过一个简单的示例，介绍如何使用Python和Transformers库实现BERT文本
原创
2024-09-23 06:37:25
57阅读
tensorflow中存在许多内置的模型，可以用来进行图片的识别。下面将介绍一下使用object_detection进行物体识别需要的环境。配置环境：1. 通过proto将对应的.proto文件变成.py文件。2. 首先将tensorflow_slim模块加入到环境变量中，然后打开cmd窗口，输入python, 然后输入import slim 若是不报错则证明可以环境已经导入3. 在o
转载
2024-04-15 15:03:57
61阅读
1. Batch Normalization对卷积层来说，批量归一化发生在卷积计算之后、应用激活函数之前。训练阶段：如果卷积计算输出多个通道，我们需要对这些通道的输出分别做批量归一化，且每个通道都拥有独立的拉伸和偏移参数，并均为标量。假设小批量中有 m 个样本。在单个通道上，假设卷积计算输出的高和宽分别为p和q。我们需要对该通道中m×p×q个元素同时做批量归一化。对这些元素做标准化计算时，我们使用
转载
2024-05-06 17:33:40
46阅读
Transformer 自 Attention 机制提出后，加入 Attention 的 seq2seq 模型在各个任务上都有了提升，所以现在的 seq2seq 模型指的都是结合 RNN 和 Attention 的模型。 Transformer 模型使用了 self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 下图是 Transfor
转载
2024-04-25 15:05:49
71阅读
目录 大纲概述 数据集合 数据处理 预训练word2vec模型 一、大纲概述 文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： word2vec预训练词向量textCNN 模型charCNN 模型Bi-LSTM
转载
2024-05-12 18:53:38
161阅读
Bert是去年google发布的新模型，打破了11项纪录，关于模型基础部分就不在这篇文章里多说了。这次想和大家一起读的是huggingface的pytorch-pretrained-BERT代码examples里的文本分类任务run_classifier。关于源代码可以在huggingface的github中找到。 huggingface/pytorch-pretrained-
转载
2023-11-10 11:17:38
107阅读
本文你将学到：- 如何将官方ckpt文件转为pytorch.bin以供pytorch/tensorflow使用- 如何在BERT的基础上拼接模型解决下游任务
原创
2021-06-17 16:26:03
3790阅读
