---- 内容 &nbs
转载
2023-11-06 14:17:20
106阅读
神经网络可以使用 torch.nn包构建。现在你已经对autograd有所了解，nn依赖 autograd 定义模型并对其求微分。nn.Module 包括层，和一个返回 output 的方法 - forward(input)。例如，看看这个对数字图片进行分类的网络：convnet这是一个简单的前馈网络。它接受输入，通过一层接一层，最后输出。一个典型的神经网络训练过程如下：定义神经网络，并包括一些可
转载
2023-08-10 13:27:22
250阅读
损失函数损失函数用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。常用的损失函数有均方误差、自定义和交叉熵等。1.均方误差mse：n个样本的预测值y与已知答案y_之差的平方和，再求平均值。在Tensorflow中用loss_mse=tf.reduce_mean(tf.square(y_-y))例子
转载
2023-10-10 21:06:16
107阅读
神经网络的传递过程引用了一下知乎上一位大佬的图 这是一个简单的神经网络，有两层网络组成正向传播就是我们的数据从神经网络的输入层通过神经网络传输到输出层的过程。下面将按照顺序进行解释核心思路：传递的过程其实就是矩阵的乘法以及计算加权平均后经过激活函数就完成了一次传递，以此类推进行传递1.数据输入网络输入层：输入层中输入的是一些矩阵，比如可以输入这个点坐标作为一个数据，也可以输入一张256*256的图
转载
2023-10-16 19:34:56
65阅读
深度神经网络具体的工作流程是什么样的？第一，深度神经网络不是黑盒，个人电脑开机直到神经网络运行在内存中的每一比特的变化都是可以很细微的观察的。没有任何神秘力量，没有超出科学解释的现象发生。第二，深度神经网络的工作方式是基于传统的电脑架构之上的，就是数据+算法。但人们确实从中窥探到了一种全新的电子大脑方式。所以目前有研究提炼一些常用神经网络算法加速硬件。微软等巨头则在开发量子计算。第三，深度神经网络
转载
2023-10-09 21:25:34
74阅读
在本文中，我将主要讨论神经网络（特别是深层网络）中的丢失（dropout）概念，然后进行实验，以了解在标准数据集上实施深层网络并观察丢失的影响对实践的实际影响。神经网络中的dropout是什么？术语“dropout”是指在神经网络中删除单位（隐藏的和可见的）。 简而言之，dropout是指在随机选择的某些神经元的训练阶段忽略单元（即神经元）。 “ignore”是指在特定的向前或向后通过过程中不考虑
转载
2024-03-01 13:31:07
32阅读
# 1.三层神经网络推理过程示意图上图从左到右依次是输入层、隐藏层1、隐藏层2和输出层。由于有权重的只有三层，故称之为三层神经网络。x1,x2表示整个神经网络的输入信号，y1,y2表示整个神经网络的输出信号。内含1的神经元以及bij标识是为了表示偏置，bij表示第i层偏置的第j个元素。比较大的神经元中aij表示它的输入信号，zij表示它的输出信号。图中的直线均表示从左到右的箭头，各层权重的具体数据
转载
2023-09-07 15:37:33
383阅读
关于神经网络epoch和batch的理解理解粗浅，仅为个人想法，提前感谢指正。epoch一个epoch代表全部数据进入网络一次，这个时候，整个网络结构只对这批数据全部走完一次，损失函数的下降还不够，因此需要多次epoch。需要多少个epoch才能使得网络训练到较为合理的地步，暂时没有定论，具体问题具体分析。batchbatch指的是将一个epoch(所有数据)分割成几份，每份的大小为batch s
转载
2023-09-08 15:01:27
56阅读
文章目录1、2层前馈神经网络模型(1) 单个样本(2) 多个样本时的矩阵表示2、2层前馈NN的误差反向传播（BP）算法(1) 单个样本(2) 多个样本时的矩阵表示3、BP多层前馈网络 本文主要参考文献如下： 1、吴恩达《深度学习》视频。 2、周志华. 《机器学习》3.2.清华大学出版社。 3、陈明等，《MATLAB神经网络原理与实例精解》，清华大学出版社。 这部分强烈推荐吴恩达的《深度学
转载
2023-07-29 11:27:24
110阅读
1. 人工神经网络1.1 神经网络结构 人工神经网络（简称神经网络）是模拟人类大脑神经元构造的一个数学计算模型。 一个神经网络的搭建，需要满足三个条件。输入和输出权重（w）和阈值（b）多层感知器的结构1.2 神经网络运作过程其中，最困难的部分就是确定权重（w）和阈值（b）。必需有一种方法，可以找出答案。这种方法就是试错法。其他参数都不变，w（或b）的微小变动，记作Δw（或Δb），然后观察输出有什么
转载
2023-12-31 13:47:57
96阅读
这篇教程发布仅天时间，就在Hacker News论坛上收获了574赞。程序员们纷纷夸赞这篇文章的代码写得很好，变量名很规范，让人一目了然。下面就让我们一起从零开始学习神经网络吧。实现方法搭建基本模块——神经元在说神经网络之前，我们讨论一下神经元（Neurons），它是神经网络的基本单元。神经元先获得输入，然后执行某些数学运算后，再产生一个输出。比如一个2输入神经元的例子： &
转载
2021-04-16 18:01:00
110阅读
卷积神经网络的构建
1.卷积神经网络由输入层，卷积层，激活函数，池化层，全连接层组成.input(输入层)--conv(卷积层)--relu(激活函数)--pool(池化层)--fc(全连接层)2.卷积层：主要用来进行特征的提取卷积操作是使用一个二维的卷积核在一个批处理的图片上进行不断扫描。具体操作是将一个卷积核在每张图片上按照一个合适的尺寸在每个通道上
转载
2023-07-14 17:10:52
150阅读
神经网络训练的过程可以分为三个步骤1.定义神经网络的结构和前向传播的输出结果2.定义损失函数以及选择反向传播优化的算法3.生成会话并在训练数据上反复运行反向传播优化算法神经元神经元是构成神经网络的最小单位，神经元的结构如下一个神经元可以有多个输入和一个输出，每个神经元的输入既可以是其他神经元的输出，也可以是整个神经网络的输入。上图的简单神经元的所有输出即是所有神经元的输入加权和，不同输入的权重就是
转载
2023-05-31 13:08:34
284阅读
TensorFlow 一、张量、计算图、会话 1.张量：{名字、维度、类型}，在TensorFlow中随便定义一个变量，输出后为张量类型。但必须在sess 三中run. 2.计算图：最前面定义变量和各个公式的整个框架，最后使用sess实现。 3.会话：这是比较重要的一个步骤
转载
2023-08-26 17:05:55
114阅读
鄙人小白一名，在传统机器学习向着神经网络学习的时候，发现了一些可能描述不太清晰或者在我自己运行后的不少问题主要是以这篇文章作为参照的：(8条消息) 【搭建神经网络开发环境--TensorFlow2框架】Windows系统+ Anaconda+ PyCharm+ Python_一颗小树x的博客（这篇文章的环境搭建完全符合“官标？”：Failed to load the native TensorFl
转载
2024-01-14 10:22:20
57阅读
卷积神经网络的简单可视化本次将进行卷积神经网络权重的简单可视化。在本篇教程的前半部分，我们会首先定义一个及其简单的 CNN 模型，并手工指定一些过滤器权重参数，作为卷积核参数。后半部分，我们会使用 FashionMNIST 数据集，并且定义一个 2 层的 CNN 模型，将模型训练至准确率在 85% 以上，再进行模型卷积核的可视化。1. 简单卷积网络模型的可视化1.1 指定过滤器卷积层的可视化在下面
转载
2023-08-02 23:22:15
134阅读
摘要：本汇报为简单神经网络运算框架的理论说明。首先在整体性介绍中明确了框架的基本组成部分。通过各层输入数据与训练参数的运算过程描述了前向传播的进行，其中卷积层的前向传播采用矩阵乘法实现，需要对输入数据进行img2col预处理。反向传播部分为框架的难点，汇报从损失函数对各训练参数的梯度计算和各层误差项传递两方面进行说明，其中关键部分的代码实现也给出了具体说明。测试代码中随机生成了batch_size
转载
2023-12-26 21:57:36
56阅读
随着新的神经网络模型的不断提出，硬件设计技术的不断更新，神经网络硬件也越来越难以单纯的标准划分出具有实际意义的分类。从弗林(Flynn)在1972年提出的单指令流单数据流(SISD)、单指令流多数据流(SIMD)、多指令流单数据流(MISD)、多指令流多数据流(MIMD)的分类方法，到保罗(Paolo Ienne)在1995年提出的基于灵活性和性能进行串并行的分类方案，伊斯克·阿贝(Isik Ay
转载
2024-01-11 12:43:57
67阅读
导读INT8量化是一种深度学习推理加速技术，可以将32位浮点数格式的神经网络权重和激活值转换为8位整数格式，从而大幅降低神经网络的计算量和存储空间需求。本文分享了神经网络的INT8量化教程，值得收藏学习。开篇刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方
转载
2024-01-12 19:28:45
87阅读
结合网上的资料与李宏毅老师的课堂教学，总结一下optimization的方法。如果以对训练结果不满意，可以尝试用下述的方法，可以优先考虑方法1-4、方法6方法1：正则化(Regularization)正则化是防止神经网络overfitting的一种方法，由于模型的参数太多，所以就容易过拟合（可以想象一下决策树需要剪枝），其原理是在损失函数中增加一个惩罚项来限制过大的权重。通常有3种方法：L1正则化
转载
2023-10-31 23:11:14
55阅读
