本文主要介绍tensorflow的自动训练的相关细节，并把自动训练和基础公式结合起来。如有不足，还请指教。写这个的初衷：有些教程说的比较模糊，没体现出用意和特性或应用场景。面向对象：稍微了解点代码，又因为有限的教程讲解比较模糊而一知半解的初学者。（更多相关内容，比如相关优化算法的分解和手动实现，EMA、BatchNormalization等用法，底部都有链接。）
目录tensorflow 自定义层扩展tf.keras.Layer类并实现init()build()add_weight()组合层创建ResNet残差快实例对象调用build()函数查看模型整体 tensorflow 自定义层通常机器学习的模型可以表示为简单层的组合与堆叠，使用TensorFlow中的tf.keras来构建模型。 扩展tf.keras.Layer类并实现init：在其中执行所有与输
转载
2024-05-16 15:08:09
79阅读
tensorflow2.0建议使用tf.keras作为构建神经网络的高级API
接下来我就使用tensorflow实现VGG16去训练数据背景介绍：2012年 AlexNet 在 ImageNet 上显著的降低了分类错误率，深度神经网络进入迅速发展阶段。在2014年牛津大学机器人实验室尝试构建了更深的网络，文章中称为"VERY DEEP CONVOLUTIONAL NETWORKS"，如VGG16
转载
2024-02-18 13:20:39
70阅读
梯度的计算是频繁的任务。在所有的的learning algorithm里几乎都用到了梯度。可以参考这片训练算法总结。本文中我具体介绍各式各样的训来拿算法，而把焦点聚焦在梯度计算这个子任务上。#梯度的定义对于一个的函数： , 它的梯度可以定义为：##微分的计算梯度的计算涉及到函数微分的计算，一般来说主要有三种方式来计算函数的微分。Numerical DifferentiationSymbolic D
训练模型的两种方式静态图方式是1.X 中张量流的主要运行方式。机制就是将定义和运行分离。相当于程序搭建一个结构（内存中搭建一个图），然后让数据（张量）按照图的顺序进行计算得到结果。静态图方式分为两个过程：1. 模型构建，从正反两个方向构建模型。2. 模型运行：构建模型后，通过多次迭代的方式运行模型，实现训练的过程。在 2.X 版本中使用 1.X 版本的API ，需要改变默认的工作模式：tf.com
TensorFlow 2.0要来了。昨天，谷歌大脑的Martin Wicke在一封公开邮件里，给这座即将造好的里程碑，做了个预告。他说今年晚些时候，TensorFlow 2.0的一个预览 (Preview) 版本，就会和程序员们见面了。在那之前，大家应该对这次重大更新，抱些怎样的期待？邮件列举了以下几条：· Eager Execution成为2.0的一个核心功能。这个命令式的编程环境，
tensorflow2自定义损失函数 一、总结 一句话总结： 直接定义函数，然后在compile时传给loss即可 def customized_mse(y_true, y_pred): return tf.reduce_mean(tf.square(y_pred - y_true)) model
转载
2020-08-06 04:04:00
585阅读
2评论
自定义模型 4.3自定义层 通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层：build：创建层的权重。使用 add_weight 方法添加权重。call：定义前向传播。compute_output_shape：指定在给定输入形状的情况下如何计算层的输出形状。 或者，可以通过实现 get_config 方法和 from_config 类方法序列化层。cla
转载
2024-04-08 07:58:29
124阅读
本文还是以MNIST的CNN分析为例loss函数一般有MSE均方差函数、交叉熵损失函数，说明见 另外一部分为正则化部分，这里实际上了解图像的会理解较深，就是防止过拟合的一些方式，符合图像先验的正则化项会给图像恢复带来很大的效果，简单讲神经网络常见的正则化则是1.对权重加入L2-norm或L1-norm2.dropout3.训练数据扩增可以看 见修改的代码：#tf可以认为是全局变量，从该变量为类
转载
2024-04-15 19:43:28
216阅读
目录（注意本文jupyterlab编写）预先导入数据模型原型（用作对比）自定义损失函数自定义损失函数保存和加载自定义损失函数自定义损失配置函数自定义损失类HuberLoss保存和加载自定义损失类的模型自定义激活函数自定义激活函数激活函数类自定义初始化自定义初始化函数初始化类自定义正则化自定义正则化函数正则化约束类模型的保存和加载自定义约束自定义约束函数权重约束类实现自定义指标自定义指标类自定义层
转载
2024-04-08 15:44:16
72阅读
官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法 1 Feeding： 在tensorflow程序运行的每一步， 用Python代码在线提供数据 2 Reader ： 在一个计算图（
转载
2024-01-30 06:37:52
60阅读
最近，我向大家介绍了我的 side-project，是个用 C# 写的简单的神经网络项目。正如我在那篇文章中提到的，给出的解决方案离最优方案还差的太远。假如要达到专业化使用的程度，这个解决方案还需要使用更多的数学和矩阵乘法。幸运的是，Google 里有些聪明人创造了一个做这件事情的库——TensorFlow。这是一个广受欢迎的开源库，正如你目前所了解的那样，它擅长于数字计算，这对我们的神经网络计算
转载
2024-10-15 09:58:01
18阅读
目的：在程序开始运行的时候，可以通过指定命令行参数给程序参数赋值步骤1、tf.app.flags 它支持应用从命令行接受参数，可以用来指定集群配置等。在tf.app.flags下面有各种定义参数的类型DEFINE_string(flag_name, default_value, docstring)
DEFINE_integer(flag_name, default_value, do
转载
2024-08-23 11:55:59
29阅读
本文主要介绍在tensorflow2.0中如何自定义loss,metric，以及如何动态检测loss 实现提前停止。以手写数字数据集作为模型的输入，构造一个简单的模型用于说明。（1）引入必要的库，加载数据集import tensorflow as tf
import tensorflow.keras.layers as layers
import tensorflow.keras as keras
转载
2024-03-28 09:50:34
81阅读
TensorFlow2 手把手教你实现自定义层.
原创
2021-06-16 02:50:16
237阅读
1、定义一个简单结构的函数模型，并自定义损失函数 1 from tensorflow.keras import Model, Input, layers, optimizers, losses 2 3 4 x = Input((5,)) 5 y = Input((1,)) 6 7 dense1 =
原创
2021-07-22 11:02:22
465阅读
TensorFlow 支持多种常用运算符（Operations，简称 Op），如矩阵乘 matmul、卷积 conv2d 等。 由这些运算符可以构建复杂的计算图（Graph）。核函数（Kernel）是运算符的特定实现，可以运行在特定类型设备上（如 CPU 或 GPU ）。 TensorFlow 通过注册机制来确定支持的运算符集合和核函数，便于进一步扩展。 今天给一个利用 C++ 编写 Tenso
转载
2024-05-24 22:40:36
116阅读
目录1. Pytorch 学习2.损失函数 Loss Functions2.1 torch.nn.L1Loss2.1.1 python代码例子2.1.1.1 上边的例子复现代码2.2 torch.nn.MSELoss2.2.1 python代码例子2.2.1.1 上边的例子复现代码2.3 torch.nn.CrossEntropyLoss2.3.1 信息熵，交叉熵和相对熵2.3.2 参数解析2.
当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。典型的CUDA程序的执行流程如下： 分配host内存，并进行数据初始化； 分配device内存，并从host将数据拷贝到device上； 调用CUDA的核函数在device上完成指定的运算； 将device上的运算结果拷贝到host上； 释放device和host上分配的内存。kernel是在device上线程中并行执行的函数
转载
2024-08-27 17:47:25
0阅读
深度学习兴起，带动一批编程语言和深度学习框架。深度学习框架真可谓是“百花齐放、百家争鸣”之态势。有TensorFlow（包括TFLearn）、Keras、Caffe（Caffe2）、Microsoft Cognitive Toolkit（以前叫做CNTK）、PyTorch、Apache MXnet、DeepLearning4J、Theano（包括Lasagne）、Torch、PaddlePaddl
