本文还是以MNIST的CNN分析为例loss函数一般有MSE均方差函数、交叉熵损失函数，说明见 另外一部分为正则化部分，这里实际上了解图像的会理解较深，就是防止过拟合的一些方式，符合图像先验的正则化项会给图像恢复带来很大的效果，简单讲神经网络常见的正则化则是1.对权重加入L2-norm或L1-norm2.dropout3.训练数据扩增可以看 见修改的代码：#tf可以认为是全局变量，从该变量为类
转载
2024-04-15 19:43:28
216阅读
最近，我向大家介绍了我的 side-project，是个用 C# 写的简单的神经网络项目。正如我在那篇文章中提到的，给出的解决方案离最优方案还差的太远。假如要达到专业化使用的程度，这个解决方案还需要使用更多的数学和矩阵乘法。幸运的是，Google 里有些聪明人创造了一个做这件事情的库——TensorFlow。这是一个广受欢迎的开源库，正如你目前所了解的那样，它擅长于数字计算，这对我们的神经网络计算
转载
2024-10-15 09:58:01
18阅读
目的：在程序开始运行的时候，可以通过指定命令行参数给程序参数赋值步骤1、tf.app.flags 它支持应用从命令行接受参数，可以用来指定集群配置等。在tf.app.flags下面有各种定义参数的类型DEFINE_string(flag_name, default_value, docstring)
DEFINE_integer(flag_name, default_value, do
转载
2024-08-23 11:55:59
29阅读
官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法 1 Feeding： 在tensorflow程序运行的每一步， 用Python代码在线提供数据 2 Reader ： 在一个计算图（
转载
2024-01-30 06:37:52
60阅读
目录tensorflow 自定义层扩展tf.keras.Layer类并实现init()build()add_weight()组合层创建ResNet残差快实例对象调用build()函数查看模型整体 tensorflow 自定义层通常机器学习的模型可以表示为简单层的组合与堆叠，使用TensorFlow中的tf.keras来构建模型。 扩展tf.keras.Layer类并实现init：在其中执行所有与输
转载
2024-05-16 15:08:09
79阅读
自定义模型 4.3自定义层 通过对 tf.keras.layers.Layer 进行子类化并实现以下方法来创建自定义层：build：创建层的权重。使用 add_weight 方法添加权重。call：定义前向传播。compute_output_shape：指定在给定输入形状的情况下如何计算层的输出形状。 或者，可以通过实现 get_config 方法和 from_config 类方法序列化层。cla
转载
2024-04-08 07:58:29
124阅读
本文主要介绍tensorflow的自动训练的相关细节，并把自动训练和基础公式结合起来。如有不足，还请指教。写这个的初衷：有些教程说的比较模糊，没体现出用意和特性或应用场景。面向对象：稍微了解点代码，又因为有限的教程讲解比较模糊而一知半解的初学者。（更多相关内容，比如相关优化算法的分解和手动实现，EMA、BatchNormalization等用法，底部都有链接。）
本文主要介绍在tensorflow2.0中如何自定义loss,metric，以及如何动态检测loss 实现提前停止。以手写数字数据集作为模型的输入，构造一个简单的模型用于说明。（1）引入必要的库，加载数据集import tensorflow as tf
import tensorflow.keras.layers as layers
import tensorflow.keras as keras
转载
2024-03-28 09:50:34
81阅读
1、定义一个简单结构的函数模型，并自定义损失函数 1 from tensorflow.keras import Model, Input, layers, optimizers, losses 2 3 4 x = Input((5,)) 5 y = Input((1,)) 6 7 dense1 =
原创
2021-07-22 11:02:22
465阅读
TensorFlow 支持多种常用运算符（Operations，简称 Op），如矩阵乘 matmul、卷积 conv2d 等。 由这些运算符可以构建复杂的计算图（Graph）。核函数（Kernel）是运算符的特定实现，可以运行在特定类型设备上（如 CPU 或 GPU ）。 TensorFlow 通过注册机制来确定支持的运算符集合和核函数，便于进一步扩展。 今天给一个利用 C++ 编写 Tenso
转载
2024-05-24 22:40:36
116阅读
目录1. Pytorch 学习2.损失函数 Loss Functions2.1 torch.nn.L1Loss2.1.1 python代码例子2.1.1.1 上边的例子复现代码2.2 torch.nn.MSELoss2.2.1 python代码例子2.2.1.1 上边的例子复现代码2.3 torch.nn.CrossEntropyLoss2.3.1 信息熵，交叉熵和相对熵2.3.2 参数解析2.
当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。典型的CUDA程序的执行流程如下： 分配host内存，并进行数据初始化； 分配device内存，并从host将数据拷贝到device上； 调用CUDA的核函数在device上完成指定的运算； 将device上的运算结果拷贝到host上； 释放device和host上分配的内存。kernel是在device上线程中并行执行的函数
转载
2024-08-27 17:47:25
0阅读
深度学习兴起，带动一批编程语言和深度学习框架。深度学习框架真可谓是“百花齐放、百家争鸣”之态势。有TensorFlow（包括TFLearn）、Keras、Caffe（Caffe2）、Microsoft Cognitive Toolkit（以前叫做CNTK）、PyTorch、Apache MXnet、DeepLearning4J、Theano（包括Lasagne）、Torch、PaddlePaddl
标量反向传播当目标张量为标量时，backward()无需传入参数。例子：假设都是标量， ，对标量调用backward()方法。自动求导的主要步骤import torch1.定义叶子结点，算子节点如果需要对Tensor求导，requires_grad要设置为True。# 定义输入张量x
x = torch.Tensor([2])
# 初始化权重参数w,偏置b,#设置requires_grad为Tru
转载
2024-06-05 16:06:44
173阅读
PyTorch进阶训练技巧import torch
import numpy as np
import torch.nn as nn
import torch.nn.functional as F1. 自定义损失函数# 以函数的方式定义损失函数,通过输出值和目标值进行计算，返回损失值
def my_loss(output,target):
loss = torch.mean((output
转载
2023-11-03 12:05:13
143阅读
学习网站在此：https://datawhalechina.github.io/thorough-pytorch/以下是对知识的记录（都记下来）一、自定义损失函数许多损失函数并未出现在官方库中，需要我们自己来实现，尤其在日新月异的ai领域，模型与相关算法的更新很快，同时，在科学研究领域，当提出全新的损失函数时，这也要求我们自行定义，以验证其在数据集上的好坏1.1函数方式def my_loss(ou
转载
2023-12-18 20:14:56
155阅读
博主在学习三值神经网络时，使用了LeNet-5模型，编程代码，需要对LeNet-5模型中的卷积层与全连接层进行自定义，搜索他人方法后，博主产生了一个疑问，绝大多数提供的自定义层方法都是继承 nn.Module 模型，而这方法据说是官方提供，自定义线性层代码如下：class Linear(nn.Module):
def __init__(self, input_features, outpu
转载
2023-08-10 20:41:07
178阅读
TensorFlow定制模型和训练算法（上）5、自定义层要构建自定义的有状态层（有权重的层），需要创建Keras.layers.Layer类的子类。 例如（实现Dense层的简化版本）：class MyDense(keras.layers.Layer):
def __init__(self, units, activation=None, **kwargs):
//负责处理标准参
转载
2024-06-22 21:20:33
77阅读
前文分别讲了tensorfl
原创
2022-10-31 16:33:16
1137阅读
Pytorch实现简单的RNN此内容还未涉及LSTM以及深度RNN定义模型我们使用Pytorch中的nn.RNN来构造循环神经网络。在本节中，我们主要关注nn.RNN的以下几个构造函数参数：
input_size - The number of expected features in the input x (应该是类似于词典大小)
hidden_size – The number of fea
转载
2024-09-12 10:05:56
27阅读
