模型生成与使用（ckpt）保存 # 首先定义saver类 注意点：创建saver时，可以指定需要存储的tensor，如果没有指定，则全部保存。创建saver时，可以指定保存的模型个数，利用max_to_keep=4，则最终会保存4个模型（下图中我保存了共4个模型）。saver.save()函数里面可以设定global_step，说明是哪一步保存的模型。程序结束后，会生成四个文件：
在用tensorflow实现一些模型的时候，有时候我们在运行程序的时候，会发现程序占用的内存在不断增长。最后内存溢出，程序被kill掉了。这个问题，其实有两个可能性。一个是比较常见，同时也是很难发现的。这个问题的解决，需要我们知道tensorflow在构图的时候，是没有所谓的临时变量的，只要有operator。那么tensorflow就会在构建的图中增加这个operator所代表的节点。所以，在运
转载
2024-04-06 01:13:15
366阅读
在进行深度学习开发之前，我们都必须面对的是数据加载问题。如何加载我们自己的数据，是我们不得不面对的一个问题，本篇以数据加载作为我们tensorflow实战的开始，教你手把手实现自己的模型训练。目录一、tensorflow常见的数据集格式二、内存数据2.1、数据集说明2.2、生成样本数据三、TFRecord数据四、Dataset数据集4.1、生成Dataset对象4.2、在Session中使用Dat
转载
2024-04-27 23:19:11
34阅读
在使用 TensorFlow 进行深度学习训练时，GPU 的有效利用至关重要。然而，GPU 的缓存可能会导致训练过程中出现意外的内存错误或模型不稳定。因此，清除 GPU 的缓存成为一个常见而重要的问题。
### 问题背景
在我们的深度学习项目中，使用 TensorFlow 框架进行图像处理任务时，发现 GPU 内存使用异常。特别是在进行多个模型训练与评估时，内存泄漏现象明显，出现卡顿和崩溃的情况
MNIST是一个非常有名的手写体数字识别数据集，在很多资料中，这个数据集都会被用作深度学习的入门样例。而TensorFlow的封装让使用MNIST数据集变得更加方便。MNIST数据集是NIST数据集的一个子集，它包含了60000张图片作为训练数据，10000张图片作为测试数据。在MNIST数据集中的每一张图片都代表了0~9中的一个数字。图片的大小都为28*28，且数字都会出现在图片的正中间，如下图
转载
2024-02-19 11:36:46
32阅读
一 Tensorflow中数据的读取方式 在Tensorflow中，程序读取数据的方式一共有三种： [1]供给数据读取方式(Feeding):在Tensorflow程序运行的每一步，利用Python代码来供给/提供数据. &n
转载
2024-02-19 10:41:03
97阅读
Tensorflow作为符号编程框架，需要先构建数据流图，再读取数据，随后进行模型训练。tensorflow官网给出了以下三种方法来加载数据。 – 预加载数据：在tensorflow图中定义常量或变量来保存所有数据。 – 填充数据：python产生数据，再把数据填充后端。 – 从文件中读取数据：从文件中直接读取，让队列管理器从文件中读取数据。一、预加载数据x1 = tf.constant([[2,
转载
2024-03-21 11:02:56
123阅读
TensorFlow程序读取数据一共有3种方法:供给数据(Feeding)： 在TensorFlow程序运行的每一步， 让Python代码来供给数据。 从文件读取数据： 在TensorFlow图的起始， 让一个输入管线从文件中读取数据。 预加载数据： 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。使用Tensorflow训练神经网络模型，首先要读取数据，
转载
2024-02-19 18:17:18
10阅读
本文介绍如何使用TensorFlow来读取图片数据，主要介绍写入TFRecord文件再读取和直接使用队列来读取两种方式。假设我们图片目录结构如下：|---a
| |---1.jpg
| |---2.jpg
| |---3.jpg
|
|---b
| |---1.jpg
| |---2.jpg
| |---3.jpg
|
|---c
| |---1.jpg
| |--
转载
2024-07-05 22:48:06
45阅读
TensorFlow函数整理tf.placeholder()函数说明：返回值实例sess.run()函数说明返回值实例feed_dict -- sess.run() 中的feed_dict1. 是否需要进行传参feed_dict2. 是否执行一次sess.run函数，代码里的“数据迭代生成器”就会更新一次batch3. sess.run()可以将tensor格式转成numpy格式4. feed
转载
2024-03-15 12:00:35
43阅读
TensorFlow中可以很容易地利用单个GPU加速深度学习模型的训练过程，但当需要利用更多的GPU或机器，需要了解如何并行化训练深度学习模型。常见的并行化深度学习模型的训练方式有两种，同步模式和异步模式。下文将对这两种模式展开介绍。在此之前，还需要回顾一下TensorFlow是如何对深度学习模型进行训练的。深度学习模型的训练是一个迭代过程，在每一轮迭代中，前向传播算法会根据当前参数的取值计算出在
转载
2024-02-22 16:54:13
39阅读
TensorFlow程序读取数据一共有3种方法:供给数据(Feeding)： 在TensorFlow程序运行的每一步， 让Python代码来供给数据。从文件读取数据： 在TensorFlow图的起始， 让一个输入管线从文件中读取数据。预加载数据： 在TensorFlow图中定义常量或变量来保存所有数据(仅适用于数据量比较小的情况)。使用Tensorflow训练神经网络模型，首先要读取数据，宝宝参照
转载
2024-06-16 11:25:53
53阅读
介绍TensorFlow中的并行主要分为模型并行和数据并行。 模型并行需要根据不同模型设计不同的并行方式， 其主要原理是将模型中不同计算节点放在不同硬件资源上运算。 比较通用的且能简便地实现大规模并行的方式是数据并行， 其思路我们在第1章讲解过， 是同时使用多个硬件资源来计算不同batch的数据的梯度， 然后汇总梯度进行全局的参数更新。数据并行又分为同步和异步，同步训练是指等所有GPU得到梯度后统
转载
2024-02-27 21:37:12
68阅读
tensorflow数据增强 1实现批量数据增强 | keras ImageDataGenerator使用 数据量不足时一定要加上数据增强 2. Keras 如何使用fit和fit_generator 解决样本数量不均衡：fit_generator中设置参数class_weight = 'auto' 3. 在对语义分割，目标识别时，成对数据需要进行同样处理，设置seed seed=2020...
转载
2020-04-01 23:35:00
242阅读
2评论
翻译自：http://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/ 在这篇tensorflow教程中，我会解释：1） Tensorflow的模型（model）长什么样子？2） 如何保存tensorflo
做东西，最重要的就是动手了，所以这篇文章动手跑了一个fcn32s和fcn8s以及deeplab v3+的例子，这个例子的数据集选用自动驾驶相关竞赛的kitti数据集， FCN8s在训练过程中用tensorflow2.0自带的评估能达到91%精确率, deeplab v3+能达到97%的准确率。这篇文章适合入门级选手，在文章中不再讲述fcn的结构，直接百度就可以搜到。 文章使用的是tenso
如何在Windows10环境下，对Tensorflow代码进行打包封装（利用PyQt5制作界面）在写代码、做项目的过程中，经常需要对代码进行打包封装，提供给用户使用。本文就重点介绍如何在Windows10环境下，对深度学习代码进行打包封装，以Tensorflow代码为例进行说明。1、编写Tensorflow代码Windows10环境下，Tensorflow貌似不支持Python2.7，建议使用Py
第一步：收集图片，按照一定比例分别放置在train文件夹和test（或者val数据集）文件夹中的JPEGImage文件夹下；注意：训练集和验证集文件夹下分别有Annotation文件夹和JPEGImage文件夹；第二步：分别对文件夹下的图片进行统一命名，一般多以数字升序来命名；1、可以使用Windows自带的重命名，一般数字名称会带有括号，可以按照另一个博主的文章进行对应的修改；地址链接如下：2、
转载
2024-10-14 09:32:48
59阅读
，首先我们得有数据。我们第一个例子中，直接使用dataset的api去加载mnist的数据。(minst的数据要么我们是提前下载好，放在对应的目录上，要么就根据他给的url直接从网上下载)。
一般来说，我们使用TensorFlow是从TFRecord文件中读取数据的。
TFRecord 文件格式是一种面向记录的简单二进制格式，很多 TensorFlow 应用采用此格式来训练数据
所以，这篇文
原创
2021-07-12 13:46:29
186阅读
在计算机视觉领域里，有3个最受欢迎且影响非常大的学术竞赛：ImageNet ILSVRC（大规模视觉识别挑战赛），PASCAL VOC（关于模式分析，统计建模和计算学习的研究）和微软COCO图像识别大赛。这些比赛大大地推动了在计算机视觉研究中的多项发明和创新，其中很多都是免费开源的。博客Deep Learning Sandbox作者Greg Chu打算通过一篇文章，教你用Keras和Tensor
