梯度的计算是频繁的任务。在所有的的learning algorithm里几乎都用到了梯度。可以参考这片训练算法总结。本文中我具体介绍各式各样的训来拿算法，而把焦点聚焦在梯度计算这个子任务上。#梯度的定义对于一个的函数： , 它的梯度可以定义为：##微分的计算梯度的计算涉及到函数微分的计算，一般来说主要有三种方式来计算函数的微分。Numerical DifferentiationSymbolic D
tensorflow2.0建议使用tf.keras作为构建神经网络的高级API
接下来我就使用tensorflow实现VGG16去训练数据背景介绍：2012年 AlexNet 在 ImageNet 上显著的降低了分类错误率，深度神经网络进入迅速发展阶段。在2014年牛津大学机器人实验室尝试构建了更深的网络，文章中称为"VERY DEEP CONVOLUTIONAL NETWORKS"，如VGG16
转载
2024-02-18 13:20:39
70阅读
本文主要介绍tensorflow的自动训练的相关细节，并把自动训练和基础公式结合起来。如有不足，还请指教。写这个的初衷：有些教程说的比较模糊，没体现出用意和特性或应用场景。面向对象：稍微了解点代码，又因为有限的教程讲解比较模糊而一知半解的初学者。（更多相关内容，比如相关优化算法的分解和手动实现，EMA、BatchNormalization等用法，底部都有链接。）
TensorFlow 2.0要来了。昨天，谷歌大脑的Martin Wicke在一封公开邮件里，给这座即将造好的里程碑，做了个预告。他说今年晚些时候，TensorFlow 2.0的一个预览 (Preview) 版本，就会和程序员们见面了。在那之前，大家应该对这次重大更新，抱些怎样的期待？邮件列举了以下几条：· Eager Execution成为2.0的一个核心功能。这个命令式的编程环境，
训练模型的两种方式静态图方式是1.X 中张量流的主要运行方式。机制就是将定义和运行分离。相当于程序搭建一个结构（内存中搭建一个图），然后让数据（张量）按照图的顺序进行计算得到结果。静态图方式分为两个过程：1. 模型构建，从正反两个方向构建模型。2. 模型运行：构建模型后，通过多次迭代的方式运行模型，实现训练的过程。在 2.X 版本中使用 1.X 版本的API ，需要改变默认的工作模式：tf.com
目录tensorflow 自定义层扩展tf.keras.Layer类并实现init()build()add_weight()组合层创建ResNet残差快实例对象调用build()函数查看模型整体 tensorflow 自定义层通常机器学习的模型可以表示为简单层的组合与堆叠，使用TensorFlow中的tf.keras来构建模型。 扩展tf.keras.Layer类并实现init：在其中执行所有与输
转载
2024-05-16 15:08:09
79阅读
tensorflow2自定义损失函数 一、总结 一句话总结： 直接定义函数，然后在compile时传给loss即可 def customized_mse(y_true, y_pred): return tf.reduce_mean(tf.square(y_pred - y_true)) model
转载
2020-08-06 04:04:00
585阅读
2评论
TensorFlow定制模型和训练算法（上）5、自定义层要构建自定义的有状态层（有权重的层），需要创建Keras.layers.Layer类的子类。 例如（实现Dense层的简化版本）：class MyDense(keras.layers.Layer):
def __init__(self, units, activation=None, **kwargs):
//负责处理标准参
转载
2024-06-22 21:20:33
77阅读
目录（注意本文jupyterlab编写）预先导入数据模型原型（用作对比）自定义损失函数自定义损失函数保存和加载自定义损失函数自定义损失配置函数自定义损失类HuberLoss保存和加载自定义损失类的模型自定义激活函数自定义激活函数激活函数类自定义初始化自定义初始化函数初始化类自定义正则化自定义正则化函数正则化约束类模型的保存和加载自定义约束自定义约束函数权重约束类实现自定义指标自定义指标类自定义层
转载
2024-04-08 15:44:16
72阅读
TensorFlow2 手把手教你实现自定义层.
原创
2021-06-16 02:50:16
239阅读
自定义模型 4.3自定义层 通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层：build：创建层的权重。使用 add_weight 方法添加权重。call：定义前向传播。compute_output_shape：指定在给定输入形状的情况下如何计算层的输出形状。 或者，可以通过实现 get_config 方法和 from_config 类方法序列化层。cla
转载
2024-04-08 07:58:29
124阅读
TensorFlow 支持多种常用运算符（Operations，简称 Op），如矩阵乘 matmul、卷积 conv2d 等。 由这些运算符可以构建复杂的计算图（Graph）。核函数（Kernel）是运算符的特定实现，可以运行在特定类型设备上（如 CPU 或 GPU ）。 TensorFlow 通过注册机制来确定支持的运算符集合和核函数，便于进一步扩展。 今天给一个利用 C++ 编写 Tenso
转载
2024-05-24 22:40:36
116阅读
当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。典型的CUDA程序的执行流程如下： 分配host内存，并进行数据初始化； 分配device内存，并从host将数据拷贝到device上； 调用CUDA的核函数在device上完成指定的运算； 将device上的运算结果拷贝到host上； 释放device和host上分配的内存。kernel是在device上线程中并行执行的函数
转载
2024-08-27 17:47:25
0阅读
在上一篇文章中，我们介绍了高效的数据流水线模块 tf.data 的流水线并行化加速。本篇文章我们将介绍 TensorFlow 另一个数据处理的利器——TFRecord。TFRecord ：TensorFlow 数据集存储格式TFRecord 是 TensorFlow 中的数据集存储格式。当我们将数据集整理成 TFRecord 格式后，TensorFlow 就可以高效地读取和处理这些数据集，从而帮助
转载
2024-04-15 09:54:39
53阅读
硬件 i7-10700K+RTX2080S软件Win10Miniconda3-py37_4.8.2-Windows-x86_64cuda10.1cudnn7.6.5tensorflow2.3.0安装过程网上看到很多教程都是先把CUDA、cuDNN安装下来再一步步安装。流程没毛病，不过，英伟达的官网就有点恶心，奇慢无比，还时不时的打不开，好不容易打开了网页，下载又下载不下来，要么就一动不动
一、《深度学习之Tensorflow入门原理与进阶实战》1、第三章import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
trainx=np.linspace(-1,1,100)
trainy=2*trainx+np.random.randn(*trainx.shape)*0.3
#y=2x with
转载
2024-05-25 16:55:42
130阅读
Tensorflow2自定义Layers之__init__,build和call详解闲言碎语：--init--,build和call总结 参考官方链接：https://tensorflow.google.cn/tutorials/customization/custom_layers闲言碎语：如果想要自定义自己的Layer，那么使用tf.keras.Layer 来创建自己的类是必不可少的。但是笔
转载
2024-04-02 21:42:56
72阅读
菜鸟学TensorFlow 2.0：TensorFlow2.0基础操作演示1. Tensor数据类型2. 创建Tensor3. Tensor索引和切片4. Tensor维度变换5. Broadcast6. 数学运算7. 手写数字识别流程8. TensorFlow实现神经网络参考资料 1. Tensor数据类型TensorFlow没有那么神秘，为了适应自动求导和GPU运算，它应运而生。为了契合nu
转载
2024-04-30 04:14:05
265阅读
数据管道Dataset1.Dataset类相关操作1.1 Dataset类创建数据集1.2 Dataset类数据转换 知识树 1.Dataset类相关操作1.1 Dataset类创建数据集tf.data.Dataset 类创建数据集，对数据集实例化。 最常用的如：tf.data.Dataset.from_tensors() ：创建Dataset对象， 合并输入并返回具有单个元素的数据集。tf.
转载
2024-04-30 14:33:00
64阅读
转载
2020-08-27 04:18:00
136阅读
2评论
