声明1）该文章整理自网上的大牛和机器学习专家无私奉献的资料，具体引用的资料请看参考文献。 2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。 3）博主才疏学浅，文中如有不当之处，请各位指出，共同进步，谢谢。 4）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖
批量归一化在对神经网络的优化方法中，有一种使用十分广泛的方法——批量归一化，使得神经网络的识别准确度得到了极大的提升。在网络的前向计算过程中，当输出的数据不再同一分布时，可能会使得loss的值非常大，使得网络无法进行计算。产生梯度爆炸的原因是因为网络的内部协变量转移，即正向传播的不同层参数会将反向训练计算时参照的数据样本分布改变。批量归一化的目的，就是要最大限度地保证每次的正向传播输出在同一分布上
tensorflow 1.Xtensoeflow虽然已经发布了2.0，但是1.0的代码结构却和2的差距很大，所以一天学一下结构。1.基本概念1.1 构建结构图图（graphs）来表示计算任务Session（绘画）来执行图tensor来表示数据Variable来维护状态图用于表示计算任务，其中由节点构成（operation），而每个节点可以由很多个Tensor，图需要在session中才可以被使用。
转载
2024-06-19 06:07:24
45阅读
主要内容昨天我们已经成功训练了一个有效的神经网络，并且对官方提供的Fashion-MNIST数据集进行了分类，准确率达到了80%以上。但是这个准确率远远达不到应用的要求，那么，如何来提高神经网络的分类效率呢？这也就引出了我们接下来学习的内容：数据归一化处理回调函数的作用数据归一化处理归一化大家都不陌生，简单的理解，它的作用就是把你需要用到的数据经过处理后（通过某种算法）将其限制在你所规定的范围内。
转载
2024-04-24 15:55:19
23阅读
下面将升级代码到TensorFlow 2.x版本的方法汇总起来，有如下几点。1.最快速转化的方法在代码中没有使用contrib模块的情况下，可以在代码最前端加上如下两句，直接可以实现的代码升级。import tensorflow.compat.v1 as
tftf.disable_v2_behavior()这种方法只是保证代码在TensorFlow 2.x版本上能够运行，并不能发挥TensorF
转载
2024-04-24 12:09:30
53阅读
Tensorflow2实现像素归一化与频谱归一化前言像素归一化像素归一化详解像素归一化实现频谱归一化频谱归一化详解频谱归一化实现 前言归一化技术的改进是生成对抗网络(Generative Adversarial Networks, GAN)中众多改进的一种，本文介绍常用于当前GAN中的像素归一化(Pixel normalization，或称为像素规范化)和频谱归一化(Spectral norma
转载
2024-03-29 08:28:17
64阅读
1.设置TensorFlow拥有非常丰富的库，第一步首先加载需要的库import math
from IPython import display
from matplotlib import cm
from matplotlib import gridspec
from matplotlib import pyplot as plt
import numpy as np
import pand
Tensorflow1.x 系列为个人入门Tensorflow1的简要笔记，最近学习的论文涉及到了bilevel program和hypergradient的求解，对应的代码基于Tensorflow1实现，因此根据视频教程学习了解一下Tensorflow。视频课程链接：https://www.bilibili.com/video/BV1wJ411T77b?p=15跟着视频课自己写的代码，使用Col
转载
2024-07-01 01:26:12
39阅读
1.TensorFlow是什么：TensorFlow 是一个端到端开源机器学习平台借助 TensorFlow，初学
原创
2022-09-14 10:46:24
163阅读
在深度学习中，optimizer就是优化函数，这部分相当于机器学习中，自己写的优化函数部分，直接利用 SGD：随机梯度下降算法激活函数的作用 引入非线性因素，使得升级网络更为复杂。归一化： 训练模型不会因为部分畸形数据而导致训练模型出现差错 （在之前的博客中有提到） 批归一化： 每一层的激活值都进行归一化的过程数据未进行批归一化前 使用后 可以看出准确率的提升非常的大#对象的使用
model =
转载
2024-03-23 16:43:05
94阅读
本教程对应的tensorflow版本为：tensorflow 1版本简介 深度学习的框架有很多：TensorFlow、Caffe、Theano、Torch...TensorFlow作为谷歌重要的开源项目，有非常火热的开源的开源社区推动着开源项目的发展，它能让项目有旺盛的生命力并在生命周期中不断涌现新的功能并以较快的迭代来更新Bug修复。Keras是在TensorFlow基础上构建的高层API，K
转载
2024-05-27 16:33:52
80阅读
TensorFlow 1.11.0+ 版本更快、更灵活、更稳定（production-ready）于是想升级到Tensorflow1.1 。TensorFlow 1.0+版本保证 Python API 的稳定性，即使以后添加新的特性也不用担心会破坏现有代码。具体参见Google Research Blog 。一、TensorFlow升级我安装的是tensorflow的
转载
2024-08-19 14:03:25
73阅读
批量归一化在对神经网络的优化方法中，有一种使用十分广泛的方法——批量归一化，使得神经网络的识别准确度得到了极大的提升。在网络的前向计算过程中，当输出的数据不再同一分布时，可能会使得loss的值非常大，使得网络无法进行计算。产生梯度爆炸的原因是因为网络的内部协变量转移，即正向传播的不同层参数会将反向训练计算时参照的数据样本分布改变。批量归一化的目的，就是要最大限度地保证每次的正向传播输出在同一分布上
转载
2024-03-27 07:50:56
62阅读
初识在神经网络中，每一层的每个神经元都与下一层的每个神经元相连， 这种连接关系叫全连接（Full Connected）。
转载
2024-07-09 19:34:47
22阅读
浏览内核代码的最好工具我想应该是 Source Insight 了 但是有些同学问在linux下没有 Source Insight 怎么办。 一下有三种方案供考虑： 1.使用wine软件，方法很简单，在“软件添加/删除”中输入 wine 然后查找，安装。 wine 安装成功后直接可以安装 sourceinsight 的 exe文件。 2使用vim
关于TensorFlow Serving下面是TensorFlow Serving的架构图：关于TensorFlow Serving的更多基础概念等知识，请看官方文档，翻译的再好也不如原文写的好。这里，我总结了下面一些知识点，我认为是比较重要的：TensorFlow Serving通过Model Version Policy来配置多个模型的多个版本同时serving；默认只加载model的late
转载
2024-10-14 17:19:03
46阅读
对 NT-Xent 损失的直观解释，并逐步解释操作和我们在 PyTorch 中的实现先来看一个公式NT-Xent 损失 在较高层次上，对比学习模型的输入来自 N 个底层图像的 2N 个图像。N 个底层图像中的每一个都使用一组随机图像增强进行增强，以生成 2 N个增强图像。这就是我们最终在输入模型的单个训练批次中获得 2N 个图像的方式。PyTorch
一、归一化简介在对数据进行预处理时，经常要用到归一化方法。在深度学习中，将数据归一化到一个特定的范围能够在反向传播中获得更好的收敛。如果不进行数据标准化，有些特征（值很大）将会对损失函数影响更大，使得其他值比较小的特征的重要性降低。因此 数据标准化可以使得每个特征的重要性更加均衡。公式表达为： 二、归一化实战 在这里我们可以将上一节所使用的的图像分类的代码，修改为有将数据归一化
转载
2023-09-08 21:12:27
335阅读
PS：本人初学，技术菜的抠脚，本博客仅对学习过程中遇到的知识点进行总结，如有错误，还望指出，谢谢。1、Softmax层功能： 实现对神经网络输出结果进行归一化处理，将各结果概率限制在（0-1）,并且概率和为1，同时对结果的置信度，转换为正值（使用以e为底的指数函数实现）。归一化公式见下图1实现 1：out1 = tf.random.normal([1,3])
out2 = tf.nn.softma
转载
2024-05-10 14:26:41
77阅读
数据归一化的作用可以加快梯度下降求解最优解的速度，减少迭代次数。可以在一定程度上提高模型的训练效果：将不同数据的特征映射到同一维度上，防止有些数据的特征占主导。回调函数的作用与使用简单说明回调函数是人与机器的一种很好的交互方式，可在训练过程中对epoch结果进行判断，而不必等到训练完成再判断。一些常见的回调函数：
keras.callbacks.EarlyStopping:在监视到训练的质量
转载
2024-04-25 20:25:17
96阅读
