Pytorch的DataParallel多GPUPytorch实时可视化pytorch中的深浅拷贝和引用pytorch记录pytorch设置可学习系数pytorch_loss可学习weightpytorch eval时显存炸的问题tensorflow记录train的时候标准化等CNNTricksPytorch的DataParallel多GPU可以多卡并行训练，但是当输入size过大或者模型过大（一
学编程都喜欢运行HelloWorld，而深度学习的HelloWorld便是跑通MNIST。MNIST是一个手写数字的图集库，图集非常精小，非常适合作为深度学习练手的图集。跑完下面的demo，会对TensorFlow训练模型和识别图片数字这个流程有个整体的概念。 本教程使用TensorFlow的Estimator来实现，Estimator是Tensorflow的高级API，里面预设了模型方便开发者直
一、tensorflow安装首先系统中已经安装了两个版本的tensorflow，一个是通过keras安装的， 一个是按照官网教程https://www.tensorflow.org/install/install_linux#InstallingNativePip使用Virtualenv 进行安装的，第二个在根目录下，做标记以防忘记。安装教程： 使用 Virtualenv 进行
转载
2024-05-13 14:32:25
90阅读
【TensorFlow1.X】系列学习文章目录【环境搭建】 【入门一】 【入门二】 【入门三】 【入门四】【TensorFlow1.X】系列学习笔记【环境搭建】大量经典论文的算法均采用 TF 1.x 实现, 为了阅读方便, 同时加深对实现细节的理解, 需要 TF 1.x 的知识文章目录【TensorFlow1.X】系列学习文章目录【TensorFlow1.X】系列学习笔记【环境搭建】简介Tenso
综述 TensorFlow是一个编程系统，用图来表示计算任务，描述了计算过程图中结点表示为op(operation),一个op获得0或多个tersortensor是一个多维数组，在图中表示边图必须在会话Session里启动变量需初始化tf.global_variables_initializer()TensorFlow程序可以看做独立的两部分：构建计算图 与 运行计算
转载
2024-03-15 09:38:20
37阅读
鉴于tensorflow目前正在更新2.0版本，博主对博客也新增了适用于2.0版本动态度转换方法，更新于 --2019//09//29图1 numpy 图2 tensorflow - 问题描述在我们使用TensorFlow进行深度学习训练时，很多时候都是与Numpy数据打招呼，例如我们csv或者照片数据等。 但是我们都知道，TensorFlow训练时都是使用Tensor来存储变量的，并且网络输出的
转载
2024-04-25 18:38:35
33阅读
干货！如何修改在TensorFlow框架下训练保存的模型参数名称为何要修改TensorFlow训练的模型参数名？如何修改TensorFlow训练保存的参数名？ 为何要修改TensorFlow训练的模型参数名？在TensorFlow框架下的深度学习程序中，我们将训练得到的模型参数进行保存。在我们进行某些训练任务时，也许要从已经保存的预训练模型中载入参数，或者将TensorFlow框架训练得到的参数
转载
2024-04-14 22:31:43
106阅读
最近使用TensorFlow object_detect API做目标检测任务，由于要求目标检测模型能够移植客户端中，进而选择目标检测模型时则选择轻量级的模型，最后选择了ssd_mobilenet_v1作为目标检测的模型。之前写过了TensorFlow object_detect API训练自己数据的步骤以及通过修改配置文件参数降低模型输入大小和模型通道数方法达到压缩模型提高推理速率(此处)。本篇
最近在做可以转成pb模型的RNN/LSTM层的实现细节分析。经过一些分析，发现了在Keras里面常见的keras.layers.LSTM和Tensorflow的tf.contrib.rnn.LSTMCell有一些实现上面的区别。本文将立足于Keras和Tensorflow源码，分别搭建两个简单的一层LSTM的神经网络，验证权重的解析顺序及计算逻辑的正确性。Let’s roll~0. 常见的LSTM
转载
2024-03-26 11:16:06
159阅读
TensorFlow 是什么TensorFlow 是一个深度学习库，由 Google 开源，可以对定义在 Tensor(张量)上的函数自动求导。Tensor(张量) 意味着 N 维数组，Flow(流) 意味着基于数据流图的计算，TensorFlow 即为 张量从图的一端流动到另一端一大亮点是支持异构设备分布式计算，它能够在各个平台上自动运行模型，从电话、单个 CPU / GPU 到成百上千 GPU
转载
2024-04-24 09:27:45
33阅读
读数总结：使用tf构建一个简单的SLP模型，部分定义需要在上一学习笔记中复习。分为导入模块、数据构建、模型定义、学习阶段、测试及准确率计算，共五个部分。##5.1 导入模块此次建模主要用到numpy用于构建数据，TensorFlow用于构建模型，matplotlib用于数据可视化。 ##5.2 数据构建本次学习的数据是11个点的坐标及对应的点的类型，建模的目标是找到一条直线能够正确划分两
转载
2024-07-12 11:50:40
37阅读
一、准备工作1、加载数据集import tensorflow as tf
import numpy as np
class MNISTLoader():
def __init__(self):
mnist = tf.keras.datasets.mnist
(self.x_train, self.y_train), (self.x_test, self.y
准备数据前期已经将数据生成了tfrecord格式，这里主要是研究如果从tfrecord格式文件中读取数据batch读文件名获取tf_record格式的文件名列表 1 tf_record_pattern = os.path.join(FLAGS.data_dir,'%s-*' %self.subset) # subset in ['train','validation']
2 data_file
转载
2024-04-25 11:38:49
67阅读
一、tensorflow读取机制图解我们必须要把数据先读入后才能进行计算，假设读入用时0.1s，计算用时0.9s，那么就意味着每过1s，GPU都会有0.1s无事可做，这就大大降低了运算的效率。解决这个问题方法就是将读入数据和计算分别放在两个线程中，将数据读入内存的一个队列，如下图所示：读取线程源源不断地将文件系统中的图片读入到一个内存的队列中，而负责计算的是另一个线程，计算需要数据时，直接从内存队
转载
2024-03-21 10:47:08
64阅读
训练模型时，需要使用变量(Variables)保存和更新参数。Variables是包含张量(tensor)的内存缓冲。变量必须要先被初始化(initialize)，而且可以在训练时和训练后保存(save)到磁盘中。之后可以再恢复(restore)保存的变量值来训练和测试模型。 1、变量op能够持久化保存，普通张量不行2、定义一个变量时，在会话中必须初始化3、name参数：在tensorb
转载
2024-03-26 10:13:43
62阅读
TensorFlow代码结构优化tips一、变量管理在模型的前向传播的过程中，将前向传播定义为：def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2)从上面定义可以看出，这个函数的参数包括了神经网络中的所有参数。然而，当神经网络的结构更加复杂、参数更多的时间，就需要一个更好的方式来传递和管理参数了。T
转载
2024-04-09 12:12:32
57阅读
以下记录为我在电脑上安装的过程(2018.4.28)：版本信息：win10python3.6.5tensorflow-gpu1.8.0CUDA9.0cuDNN7.1说明：1.为啥要安装这几个？tensorflow是微软家出的一个用来做深度学习的开源库，这个库有两个版本一种是在CPU上运行，安装方法为：pip install tensorflow一种是在GPU上运行，安装方法为pip install
转载
2024-07-24 16:51:20
15阅读
tensorflow由于其基于静态图的模式，导致写代码的时候很难调试，除了用官方的调试工具外，最直接的方法就是把中间结果输出出来查看，然而，直接用print函数只能输出tensor变量的形状，而不是数值，想要输出tensor的具体数值需要用tf.Print函数。网上有很多关于这个函数使用方法的说明，这里简要介绍：Print(
input_,
data,
message=No
LSTM1.简介2.RNN2.1RNN原理内容介绍2.1优缺点3.LSTM3.1RNN差异3.2 LSTM内部结构3.3 LSTM代码 1.简介长短期记忆网络（Long-Short Term Memory,LSTM）论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 LSTM的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如
转载
2024-02-12 07:58:22
197阅读
这里不介绍RNN与RNN的特殊情形LSTM，因为内容过多。一、相关函数介绍 1、创建Cell：tf.nn.rnn_cell.BasicRNNCell(num_units)num_units：创建的神经元个数。 2、创建由 RNNCellcell指定的递归神经网络，执行inputs的完全动态展开（即对单个Cell执行动态展开）：tf.nn.dynamic_rnn( cell, i
转载
2024-03-20 20:00:51
143阅读
