当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。典型的CUDA程序的执行流程如下： 分配host内存，并进行数据初始化； 分配device内存，并从host将数据拷贝到device上； 调用CUDA的核函数在device上完成指定的运算； 将device上的运算结果拷贝到host上； 释放device和host上分配的内存。kernel是在device上线程中并行执行的函数
转载
2024-08-27 17:47:25
0阅读
TensorFlow 支持多种常用运算符（Operations，简称 Op），如矩阵乘 matmul、卷积 conv2d 等。 由这些运算符可以构建复杂的计算图（Graph）。核函数（Kernel）是运算符的特定实现，可以运行在特定类型设备上（如 CPU 或 GPU ）。 TensorFlow 通过注册机制来确定支持的运算符集合和核函数，便于进一步扩展。 今天给一个利用 C++ 编写 Tenso
转载
2024-05-24 22:40:36
116阅读
学习tensorflow先要了解它编码的流程，在此简要描述一下其流程，所有的TensorFlow训练神经网络的过程大致可以分为以下三个过程：1、定义神经网络的结构和前向传播的输出结果。2、定义损失函数以及选择反向传播优化的算法。3、生成会话并且在训练数据上反复运行反向传播优化算法。无论神经网络结构如何变化，这三个步骤是不变的。当然，每一步里面涉及到的方法和函数是比较复杂的，真正学好神经网络不止要了
转载
2024-03-26 15:46:08
66阅读
训练模型的两种方式静态图方式是1.X 中张量流的主要运行方式。机制就是将定义和运行分离。相当于程序搭建一个结构（内存中搭建一个图），然后让数据（张量）按照图的顺序进行计算得到结果。静态图方式分为两个过程：1. 模型构建，从正反两个方向构建模型。2. 模型运行：构建模型后，通过多次迭代的方式运行模型，实现训练的过程。在 2.X 版本中使用 1.X 版本的API ，需要改变默认的工作模式：tf.com
import osimport cv2from DeepFace import functions,analyzefrom keras.callbacks import ModelCheckpointfrom sklearn.
原创
2023-05-18 17:06:04
80阅读
TensorFlow定制模型和训练算法（上）5、自定义层要构建自定义的有状态层（有权重的层），需要创建Keras.layers.Layer类的子类。 例如（实现Dense层的简化版本）：class MyDense(keras.layers.Layer):
def __init__(self, units, activation=None, **kwargs):
//负责处理标准参
转载
2024-06-22 21:20:33
77阅读
今天讲解的内容是自定义层，和我们之前所学的构建层的方法相比，自定义层要复杂一些，而且要多一些注意事项，同时对python的要求也提高了不少，下边我们根据老师给出的案例代码进行讲解(注释)。#首先说一下自定义层的三种方法
import tensorflow as tf
#自定义全连接层
class Linear(tf.keras.layers.Layer):
#在__init__中进行所有
转载
2024-05-15 12:31:22
99阅读
tensorflow2.0建议使用tf.keras作为构建神经网络的高级API
接下来我就使用tensorflow实现VGG16去训练数据背景介绍：2012年 AlexNet 在 ImageNet 上显著的降低了分类错误率，深度神经网络进入迅速发展阶段。在2014年牛津大学机器人实验室尝试构建了更深的网络，文章中称为"VERY DEEP CONVOLUTIONAL NETWORKS"，如VGG16
转载
2024-02-18 13:20:39
70阅读
添加自定义op本文介绍如何在tensorflow中增加一个新得OP以及op对应得kernel，还有如何编译和使用新增加得op。1.新增加op对应得kernel实现，新的op ZeroOutOp类继承自OpKernel，重新实现Compute接口，在该接口内实现op对应得kernel（tensorflow/core/user_ops/zero_out.cc cpu设备上的实现）：REGISTER_O
转载
2024-03-27 20:15:10
64阅读
目录（注意本文jupyterlab编写）预先导入数据模型原型（用作对比）自定义损失函数自定义损失函数保存和加载自定义损失函数自定义损失配置函数自定义损失类HuberLoss保存和加载自定义损失类的模型自定义激活函数自定义激活函数激活函数类自定义初始化自定义初始化函数初始化类自定义正则化自定义正则化函数正则化约束类模型的保存和加载自定义约束自定义约束函数权重约束类实现自定义指标自定义指标类自定义层
转载
2024-04-08 15:44:16
72阅读
常量、变量、占位符、会话是tensorflow编程的基础也是最常用到的东西，tensorflow中定义的变量、常量都是tensor（张量）类型。常量tf.constant()tensorflow中定义的变量、常量都是tensor（张量）类型常用是在运行过程中不会改变的量，如作线性回归Y = w*X + b ，知道一系列(X, Y) ，通过梯度下降找w和b，X和Y的值在程序运行时就不会去改变，只不断
转载
2024-05-08 09:33:09
32阅读
tensorflow 自定义 op
可能需要新定义 c++ operation 的几种情况：
现有的 operation 组合不出来你想要的 op
现有的 operation 组合 出来的 operation 十分低效
如果你想要手动融合一些操作。
为了实现你的自定义操作，你需要做一下几件事：
在 c++ 文件中注册一个新op： Op registration 定义了 op 的功能接口，它和 o
转载
2021-08-26 14:14:15
1044阅读
import numpy as npimport tensorflow as tfimport osfrom tensorflow.python.framework import
原创
2022-07-09 00:01:05
88阅读
这篇教程是翻译Morgan写的TensorFlow教程，作者已经授权翻译，这是原文。目录TensorFlow学习系列（一）：初识TensorFlowTensorFlow学习系列（二）：形状和动态维度TensorFlow学习系列（三）：保存/恢复和混合多个模型TensorFlow学习系列（四）：利用神经网络实现泛逼近器（universal approximator）TensorFlow学习系列（五）
函数里也只能用 TF自己的算子 对tensor操作import tensorflow as tfbatch_size = 4hidden_size = 2input_ten
原创
2022-07-19 11:38:25
210阅读
前言在深度学习中，有时候我们需要对某些节点的梯度进行一些定制，特别是该节点操作不可导(比如阶梯除法如 )，如果实在需要对这个节点进行操作，而且希望其可以反向传播，那么就需要对其进行自定义反向传播时的梯度。在有些场景，如[2]中介绍到的梯度反转(gradient inverse)中，就必须在某层节点对反向传播的梯度进行反转，也就是需要更改正常的梯度传播过程，如下图的 所示。在tensorflow中
一图看懂tensorflow模型存储和恢复一图讲解仅保存权重和偏置模型的保存方法 一图讲解每次跟随教程进行深度学习模型训练过程中，都要把下载数据，搭建模型，训练模型，预测的过程走一遍，尤其是我们针对同一个数据进行不同方向学习的时候，我们要把一个相同的模型来回跑数次，大量的时间写重复的代码会极大的降低我们的学习积极性，那么如何将我们计算好的模型封装起来，下次遇到相同情况直接调用呢？下面我将结合te
目录tensorflow 自定义层扩展tf.keras.Layer类并实现init()build()add_weight()组合层创建ResNet残差快实例对象调用build()函数查看模型整体 tensorflow 自定义层通常机器学习的模型可以表示为简单层的组合与堆叠，使用TensorFlow中的tf.keras来构建模型。 扩展tf.keras.Layer类并实现init：在其中执行所有与输
转载
2024-05-16 15:08:09
79阅读
自定义模型 4.3自定义层 通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层：build：创建层的权重。使用 add_weight 方法添加权重。call：定义前向传播。compute_output_shape：指定在给定输入形状的情况下如何计算层的输出形状。 或者，可以通过实现 get_config 方法和 from_config 类方法序列化层。cla
转载
2024-04-08 07:58:29
124阅读
官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法 1 Feeding： 在tensorflow程序运行的每一步， 用Python代码在线提供数据 2 Reader ： 在一个计算图（
转载
2024-01-30 06:37:52
60阅读
