随机训练：一次随机抽样训练数据和目标数据对完成训练。
批训练：一次大批量训练取平均损失来进行梯度计算，批量训练大小可以一次上扩到整个数据集。
批训练和随机训练的差异：优化器方法和收敛的不同
批训练的难点在于：确定合适的batch_size
一、随机训练和批训练 随机训练：一次随机抽样训练数据和目标数据对完成训练。 批训练：一次大批量训练取平均损失
转载
2024-05-08 09:58:31
53阅读
Fast R-CNN是R-CNN的改良版，同时也吸取了SPP-net中的方法。在此做一下总结。 论文中讲到在训练阶段，训练一个深度目标检测网络（VGG16），训练速度要比R-CNN快9倍左右，比SPP-net快3倍左右。在测试阶段，处理一张图片需要0.3s。在PASCAL VOC 2012数据库上的mAP也达到了66%，比R-CNN高两个百分点。 提出背景 这个方法提出的背景是，R-CN
转载
2024-09-14 13:11:32
23阅读
# 如何在PyTorch中实现每个轮次的显存占用监控
在进行深度学习模型的训练时，显存（GPU内存）的管理是一个非常重要的部分。显存不足可能导致程序崩溃或训练速度缓慢。因此，监控每个轮次的显存占用情况是非常有必要的。本文将指导你通过几个步骤如何实现这一功能。
## 流程步骤
| 步骤 | 描述 |
|------|---------
原创
2024-09-24 08:24:15
90阅读
LDA背景LDA（隐含狄利克雷分布）是一个主题聚类模型，是当前主题聚类领域最火、最有力的模型之中的一个，它能通过多轮迭代把特征向量集合按主题分类。眼下，广泛运用在文本主题聚类中。
LDA的开源实现有非常多。眼下广泛使用、可以分布式并行处理大规模语料库的有微软的LightLDA，谷歌plda、plda+，sparkLDA等等。以下介绍这3种LDA：LightLDA依赖于微软自己实现的multive
如果我们的数据量过大，我们需要将数据转化成Dataset实例，但是这样我们无法指定需要训练的数据，因为所有数据已经被
原创
2023-01-17 01:46:48
99阅读
TensorFlow更新模型变量。它能一次操作一个数据点，也可以一次操作大量数据。一个训练例子上量
原创
2022-07-08 13:02:37
324阅读
做机器训练有段时间了，从Windows到Mac再到Unbuntu，一直在搭建tensorflow机器训练环境。在工作中逐步找到最快捷的搭建方式，这次就以Mac为例记录下在Mac中搭建tensorflow机器训练环境（Ubuntu搭建流程是一样的）。 首先，由于多年来养成的IDE编程习惯，就想着如果有合适的IDE用于开发ten
转载
2024-03-09 20:41:18
54阅读
对于数据量较小而言，可能一般选择直接将数据加载进内存，然后再分batch输入网络进行训练。但是，如果数据量较大，这样的方法就不适用了，因为太耗内存。在这儿我介绍一种比较通用，高效的读取方法，即使用tensorflow内定标准格式——TFRecord.TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。TFRecord
转载
2024-04-08 10:27:53
41阅读
一、TnesorFlow 计算模型————计算图1、 计算图概念1.1 Tensor Tensor就是张量, 可以简单理解为多维数组，表明了数据结构1.2 FlowFlow 表达了张量之间通过计算相互转化的过程，体现了数据模型1.3 数据流图基础数据流图是每个 TensorFlow 程序的核心，用于定义计算结构
每一个节点都是一个运算，每一条边代表了计算之间的依赖关系上图展示了可完成基本加法运算
转载
2024-06-05 22:13:28
80阅读
import tensorflow as tfimport numpy as np"""本例子是用来演示利用TensorFlow训练出假设的权重和偏置"""# set datax_data = np.random.rand(100).astype(np.float32)y_data = x_
原创
2022-11-22 14:25:03
134阅读
TensorFlow：# TensorFlow and tf.keras
import tensorflow as tf
from tensorflow import keras
# Helper libraries
import numpy as np
import matplotlib.pyplot as plt
print(tf.__version__)
fashion_mnist =
转载
2024-10-22 14:04:26
19阅读
看过 TensorFlow-slim 训练 CNN 分类模型（续） 及其相关系列文章的读者应该已经感受到了 tf.contrib.slim 在训练卷积神经网络方面的极其方便之处，特别是它让构建模型变得非常直观。但不可忽视的是，它还存在一在很大的缺点，就是它在训练模
转载
2024-05-09 15:18:30
75阅读
Tensorflow+YOLO V4框架使用教程+YOLO V4获取识别框高度+基于相似三角形算法的物体距离测量Tensorflow+YOLO V4框架使用教程+YOLO V4获取识别框高度+基于相似三角形算法的物体距离测量Tensorflow+YOLO V4框架使用教程YOLO V4获取识别框高度基于相似三角形算法的物体距离测量 Tensorflow+YOLO V4框架使用教程+YOLO V4
转载
2024-05-27 16:35:39
54阅读
# 深度学习训练轮次（Epoch）的实现指南
作为一名刚入行的开发者，你可能对深度学习中的训练轮次（Epoch）感到困惑。别担心，这篇文章将为你提供一个详细的指南，帮助你理解并实现训练轮次。
## 训练轮次（Epoch）概述
在深度学习中，训练轮次（Epoch）是一个重要的概念。一个Epoch指的是整个训练数据集被完整地遍历一次。在每个Epoch中，模型会学习到数据集中的模式和特征。通常，模
原创
2024-07-15 20:49:33
608阅读
在学习tensorflow时，需要训练自己的数据，则需要自己写代码读入数据、组装成batch。主要分为两个步骤我的数据为三维的图像数据，后缀为nii。一般的二维图像数据也差不多是这个处理步骤一：制作TFrecord文件。假如目前在本地磁盘中有两类数据，已经按8：2的比例分为训练集和测试集，目录结构： /train /AD &n
转载
2023-11-26 13:49:21
38阅读
tensorflow2.0小试牛刀之常用训练步骤由于mnist数据集的别捷性，在讲解原理性的知识时，是首选的数据集。本文整理了一个模型从数据及准备到训练的完整步骤，可以作为模板使用。一、数据集的加载这一步是将数据标注工具标注完的数据加载到内存的过程，关于数据标注的具体内容请参考 深度学习，先学会制作自己的数据集 由于是深度学习的起步阶段，我们先简单试用一下mnist数据集。from __futur
转载
2024-04-26 19:20:28
48阅读
1.训练速度慢的原因在我们训练网络的时候，是cpu先处理好数据然后送入网络中gpu进行计算，这样在cpu处理数据时非常的慢，会使得gpu有较长的空载时间。常规的训练方式如下。2 加速方法2.1 方法1 tf.data.prefetch()这是可以使用tf.data.prefetch()方法，提前从数据集中取出若干数据放到内存中，这样可以使在gpu计算时，cpu通过处理数据，从而提高训练的速度。如下
转载
2024-04-28 19:11:31
76阅读
使用tensorflow实现代码的步骤：如下 通用十步骤：
1.导入或生成数据集；
2.转换和标准化数据；data = tf.nn.batch_norm_with_global_normalization(...)
3.划分训练、测试和验证数据集；
4.设置超参数，集中设置；
learning_rate = 0.01
batch_siz
一：基本概念1、使用图(graphs)来表示计算任务2、在被称之为会话(Session)的上下文(context)中执行图3、使用tensor表示数据4、通过变量(Variable)维护状态5、使用feed和fetch可以为任意的操作赋值或者从其中获取数据TensorFlow是一个编程系统，使用图（graphs）来表示计算任务，图（graphs）中的节点称之为op（operation），一个op获
转载
2024-05-14 18:17:16
69阅读
现在让我们用Tensorflow实现一个具体的Input pipeline，我们使用CoCo2014作为处理对象，网上应该可以下载到CoCo训练集，train2014这个文件。下载链接： http://msvocds.blob.core.windows.net/coco2014/train2014.zip 一共13.5G，解压完以后大概会有8万多张图，这
转载
2023-11-09 09:12:54
84阅读
