目录 文件读取文件队列构造文件阅读器文件内容解码器开启线程操作管道读端批处理CSV文件读取案例 先看下文件读取以及读取数据处理成张量结果的过程：一般数据文件格式有文本、excel和图片数据。那么TensorFlow都有对应的解析函数，除了这几种。还有TensorFlow指定的文件格式。TensorFlow还提供了一种内置文件格式TFRecord，二进制数据和训练类别标签数据存储在同一文件。模
转载
2024-05-11 17:52:11
13阅读
本文仅在axive上发表摘要在文本分类领域，主要都是基于CNN和LSTM来做的，但是LSTM的复杂度比CNN高得多，一旦进行长文本或大量文本的训练，就会特别耗时，而CNN就要快得多。故本文在长文本分类领域对比了在字符级别和词语级别的CNN模型分别的效果:Our earlier work (2015) [3, 4]: shallow word-level CNNs (taking sequen
转载
2024-09-03 07:02:43
36阅读
Tensorflow2 图像预处理部分详解本文基于Tensorflow2官方文档（https://tensorflow.google.cn/api_docs/python/tf/keras/preprocessing/image ）编写并配合相应的测试代码。tensorflow2提供了一系列实时的图像增强方法。TF提供了4个类和14个方法。四个类主要是批量的获取图像数据以及数据增强：Di
一、本章目标使用keras和TensorFlow Hub分类器对电影评论进行分类，将影评分为积极、消训练集...
原创
2019-11-26 20:05:28
143阅读
本文主要是参考了网上的文本分类例子，但网上的例子不够完善，只实现了训练的步骤，在此基础上，增加了模型数据保存，及如何调用模型。废话少说，上代码：（其中训练数据请自行下载，头条新闻数据下载链接：链接：https://pan.baidu.com/s/1smvf5IzOMh4-lSK0kyPWNQ 提取码：aaaa预训练模型用的是“ch
转载
2024-10-17 06:11:04
24阅读
此笔记本（notebook）使用评论文本将影评分为*积极（positive）或消极（nagetive）两类。这是一个二元（binary）*或者二分类问题，一种重要且应用广泛的机器学习问题。准备工作导入所需库import tensorflow as tf
from tensorflow import keras
import numpy as np导入数据集imdb = keras.dataset
转载
2024-06-05 11:13:41
155阅读
文章目录前言一、Keras的mnist数据集二、建立sequential顺序model2.绘图结果和测试结果三、网络容量和优化总结 前言Keras是TensorFlow2.X的一个实现库，很多模型基于Keras搭建 一、Keras的mnist数据集mnist数据集是KerasAPI公开的数据集，是（28，28）的图像数据集二、建立sequential顺序model对于分类问题必须使用softm
转载
2024-07-24 14:01:24
75阅读
【Tensorflow】菜鸟学TensorFlow 2.0：TensorFlow2.0基础知识讲解1. 简介2. TensorFlow的特点3. TensorFlow的发展历程4. TensorFlow 2 的框架5. TensorFlow的开发流程6. TensorFlow为研究提供强大的实验工具7. 入门案例8. TensorFlow常见基本概念1. 计算图2. 张量3. 会话4. 运算操作
转载
2024-03-29 13:40:27
81阅读
上一篇博客主要介绍了在文本在输入到模型前做的一系列必不可少的数据预处理操作。本篇博客主要介绍一下作为baseline的文本分类任务的模型在tf2.x框架下是如何构建的。 提到文本分类，现在基本都是想到深度学习，
转载
2024-08-21 21:35:30
32阅读
tensorflow笔记
原创
2022-08-12 14:45:38
112阅读
Ox00: Motivation最近在研究Yoon Kim的一篇经典之作Convolutional Neural Networks for Sentence Classification，这篇文章可以说是cnn模型用于文本分类的开山之作（其实第一个用的不是他，但是Kim提出了几个variants，并有详细的调参）wildml对这篇paper有一个tensorflow的实现，具体参见here。其实b
转载
2024-08-08 22:02:23
49阅读
1-3,文本数据建模流程范例一，准备数据文本数据预处理较为繁琐，包括中文切词（本示例不涉及），构建词典，编码转换，序列填充，构建数据管道等等。在tensorflow中完成文本数据预处理的常用方案有两种，第一种是利用tf.keras.preprocessing中的Tokenizer词典构建工具和tf.keras.utils.Sequence构建文本数据生成器管道。第二种是使用tf.data.Data
谷歌发布TensorFlow优化新功能TF.Text库，可对语言文本AI模型进行周期性预处理，大大节约了AI开发者对文本模型的训练时间，简化训练流程。TensorFlow再填新功能！谷歌宣布推出TensorFlow.Text，这是一个利用TensorFlow对语言文本模型进行预处理的库。TF官博第一时间发布了更新消息，并对TF.Text的新功能和特性进行了简要介绍。TensorFlow一
图像分割参考：语义分割（sematic segmentation）这里使用Oxford-IIIT Pet 数据集，该数据集由图像、图像标签、以及对像素逐一标记的掩码（分类）组成。像素的标签可以是：宠物、宠物轮廓、背景 下载安装必要的数据集和库，导入数据集 Oxford-IIIT Pet !pip install -q git+https://github.c
转载
2024-04-29 20:32:08
0阅读
文章目录基本图像分类1、使用TensorFlow中的 tf.keras（高级API） 来建立和训练模型。2、导入Fashion MNIST数据集3、数据集4、数据预处理5、建立模型6、训练模型7、完整代码8、参考资料 基本图像分类使用神经网络模型对服装进行分类。1、使用TensorFlow中的 tf.keras（高级API） 来建立和训练模型。import tensorflow as tf
fr
转载
2024-04-05 21:09:40
103阅读
bert模型在tensorflow1.x版本时，也是先发布的命令行版本，随后又发布了bert-tensorflow包，本质上就是把相关bert实现封装起来了。tensorflow2.0刚刚在2019年10月左右发布，谷歌也在积极地将之前基于tf1.0的bert实现迁移到2.0上，但近期看还没有完全迁移完成，所以目前还没有基于tf2.0的bert安装包面世，因为近期想基于现有发布的模型做一个中文多分
常见的损失函数学习随笔学习目标知道分类任务的损失函数知道回归任务的损失函数在深度学习中, 损失函数是用来衡量模型参数的质量的函数, 衡量的方式是比较网络输出和真实输出的差异，损失函数在不同的文献中名称是不一样的，主要有以下几种命名方式：分类任务在深度学习的分类任务中使用最多的是交叉熵损失函数，所以在这里我们着重介绍这种损失函数。多分类任务在多分类任务通常使用softmax将logits转换为概率的
转载
2024-09-03 12:35:40
97阅读
本文使用tf.keras对服装、运动鞋图像进行分类，训练一个神经网络模型。tf.keras是TensorFlow中用来构建和训练模型的高级API。详细内容会在下面实际操作中展开介绍，一起来看看吧。目录一、数据集准备1.1 数据描述与加载1.2 查看数据二、数据预处理2.1 查看某图像2.2 归一化处理三、构建模型3.1 设置模型的层3.1.1&nb
转载
2024-05-12 16:38:57
69阅读
本节来介绍一下使用 RNN 的 LSTM 来做 MNIST 分类的方法，RNN 相比 CNN 来说，速度可能会慢，但可以节省更多的内存空间。
初始化首先我们可以先初始化一些变量，如学习率、节点单元数、RNN 层数等：learning_rate = 1e-3
num_units = 256
num_layer = 3
input_size = 28
time_step = 28
tota
1 前言2 收集数据3 探索数据4 选择模型5 准备数据数据被输入模型之前，需要将数据转换成模型能理解的格式，该过程被称之为数据标准化。首先，已收集到的数据样本可能是以指定的顺序存储，而在实际分析中，期望文本与标签的关系是不能受到与数据样本的顺序相关的信息的影响。例如，如果数据集合是根据类别排序的，然后，数据集合被分割成训练数据集合与验证数据集合两
转载
2024-05-15 11:28:12
55阅读
