前两篇博文主要介绍了torch如何构建全连接前馈神经网络，本篇博客主要针对经典卷积神经网络LeNet5进行复现。卷积神经网络的基本结构相信不少人都看过不少博客，也都对卷积神经网络的大致结构了解一点，这里本人站在神经元的角度来描述卷积神经网络的结构。先看一张图：这就是神经元视角上卷积神经网络的大致结构，其中神经元x与神经元s之间构成卷积层；s神经元与u神经元之间构成池化/采样层；u神经元与v神经元之
转载
2023-09-04 13:18:36
82阅读
深度学习笔记：05手算梯度下降法(gradient descent)，详解神经网络迭代训练过程神经网络本质上是一个计算流程，在前端接收输入信号后，经过一层层复杂的运算，在最末端输出结果。然后将计算结果和正确结果相比较，得到误差，再根据误差通过相应计算方法改进网络内部的相关参数，使得网络下次再接收到同样的数据时，最终计算输出得到的结果与正确结果之间的误差能越来越小。1、合理的误差处理方法求 [t(k
转载
2023-11-02 12:16:44
82阅读
卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样，卷积神经网络中的每一个节点就是一个神经元。在全连接神经网络中，每相邻两层之间的节点都有边相连，于是会将每一层的全连接层中的节点组织成一列，这样方便显示连接结构。而对于卷积神经网络，相邻两层之间只有部分节点相连，为了展示每一层神经元的维度，一般会将每一层卷积层的节点
转载
2024-01-02 15:28:17
54阅读
目录?1 概述?2 运行结果?3 参考文献??4 Matlab代码?1 概述神经网络是一个庞大的体系和概念，根据处理信息的不同方式来区分不同的network。比如根据处理信息结果的传递方向，分前馈型与反馈型。前馈型网络会根据输出数值来调整网络的参数，反馈型网络的输入会存在输入或者输出数值的反馈，可以对运算处理过程不断地进行优化。网络的反馈形式决
转载
2023-09-25 14:11:19
147阅读
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络（RNN），主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人
转载
2023-12-11 21:42:34
182阅读
神经网络是所有 AI 算法的核心，如今，深度神经网络用于从图像识别和对象检测到
原创
2022-08-21 00:54:23
248阅读
1、为什么使用卷积神经网络前馈神经网络也叫做全连接网络。缺点有以下几个：在图像识别中会将多维向量平铺成一维向量，会丢失像素点之间的距离关系。无法将局部的权重应用到其他位置，带来的后果就是，如果在一个图像的右上角有一只猫，可以正确分类；当这只猫出现在左下角时，无法正确识别。（没有平移不变性）1.1、神经网络处理图像import numpy as np
import tensorflow as tf
转载
2023-11-24 07:59:03
163阅读
文章目录1. 为什么要使用卷积神经网络？2. 卷积2.1 数学上的卷积2.2 深度学习的卷积3. 卷积的构成4. 卷积的特征5. 卷积的计算(1) 一维卷积计算(2) 二维卷积计算(黑白图片)(2) 三维卷积计算(彩色图片)6. 卷积的优势7. 卷积神经网络7.1 卷积层7.2 池化层7.3 全连接层8. 前向传播9. 反向传播9.1 池化层的反向传播算法9.2 卷积层的反向传播10. 典型的卷
转载
2023-12-12 18:54:32
213阅读
ELMAN神经网络By:Yang Liu1.什么是ELMAN神经网络 Elman神经网络是一种典型的局部回归网络( global feed forward local recurrent)。Elman网络可以看作是一个具有局部记忆单元和局部反馈连接的递归神经网络。Elman网络具有与多层前向网络相似的多层结构。是在BP网络基本结构的基础上，在隐含层增加一个承接层，作为一步延时算子，达到记忆的目的，
转载
2023-08-29 16:42:33
255阅读
基础问题CNN1. 卷积神经网络和全连接网络的根本不同之处在哪里两者之间的唯一区别是神经网络相邻两层的连接方式。在全连接神经网络中，每相邻两层之间的节点都有边相连，而对于卷积神经网络，相邻两层之间只有部分节点相连；全连接网络缺点： 参数太多，计算速度变慢，容易过拟合 卷积神经网络：局部链接；权值共享；参数更少，降低过拟合的可能卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络。
转载
2024-01-22 11:43:59
70阅读
关于ANN人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一
转载
2023-11-18 14:22:26
97阅读
7、Hopfield网络特点：（1）是一个简单的单层全连接神经网络；（2）每个神经元和其他神经元是全连接的关系；（3）在更新网络权重时，有异步工作方式：每次只更新一个神经元的权重，其他权重保持不变；和同步工作方式：所有神经元同时调整状态；（4）Loss function是什么？（能量函数），能量函数的定义来自于 李亚诺夫函数，用来刻画整个网络的能量状态，而且是个单调函数，这也是为什么Hopfiel
转载
2023-11-17 13:02:20
181阅读
文章目录老铁们✌，重要通知?！福利来了！！！?1.NN2.CNN3.RNN3.1 RNNs训练和传统ANN训练异同点？3.2 为什么RNN 训练的时候Loss波动很大?3.3 RNN中为什么会出现梯度消失？3.4 如何解决RNN中的梯度消失问题？3.5 CNN VS RNN3.6 Keras搭建RNN 老铁们✌，重要通知?！福利来了！！！?【计算机视觉 复习流程剖析及面试题详解 】【深度学习算法
转载
2024-02-07 09:59:27
37阅读
文章卷积神经网络概述1.卷积核2.池化3.卷积Padding4.池化Padding5.LeNET-5介绍 卷积神经网络概述卷积神经网络是近年发展起来，并广泛应用于图像处理和NLP等领域的一种多层神经网络。传统BP处理图像时的问题:1.权值太多，计算量太大假设使用100X100的图片进行训练，那么100X100大小的图片有10000个像素点，那么构建网络的输入就需要10000个神经元，网络中的隐藏
转载
2023-10-26 11:06:02
1016阅读
基于遗传算法的BP神经网络优化1 前言 BP神经网络是人工神经网络中应用最广泛的算法，但是也存在一些缺陷，例如学习收敛速度太慢，不能保证收敛到全局最小点、网络结构不易确定。另外，网络结构、初始连接权值和阈值的选择对网络训练的影响很大，但是又无法准确获得，针对这些特点可以采用遗传算法对神经网络进行优化。 注：此篇文章为个人学习笔记总结，如有资源冒犯，请与我联系，我将立即进行处理，谢谢2 思路与步骤
转载
2023-07-05 20:45:17
169阅读
这几天在回过头看一些比较基础的东西，发现了两个早期研究的神经网络，Elman与ART网络，类似于上世纪80年代的hopfield神经网络，BM/RBM/DBN，RBF，SOM，以及同时期的SVM算法等等，虽然那个时候可能比较冷门，并且处于神经网络偏底层研究，与生物学结合很密切，但是想法还是很不错的。Elman神经网络介绍以及Matlab实现Elman神经网络介绍1.特点 Elman神经网络是一种典
转载
2023-06-14 20:09:03
229阅读
1.关于非线性转化方程（non-linear transformation function） sigmoid函数（S 曲线）用来作为 activation function： 形状大致为S型，y的取值在【0，1】之间，当x趋近于无穷小时，y趋近于0；当x无穷大时，y趋近于1；当x=0时，y=0.5；y值在0-1之间有一个渐变过程，这是神经网络中一个非常有用的性质。 Sigmoid函数由下列公式定
转载
2023-07-11 01:20:50
314阅读
文章目录前言一、LSTM模型结构二、GRU模型结构三、GRU与LSTM的比较四、代码实现1、GRU代码 前言循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。 LSTM是RNN的一种，可以解决RNN长序
转载
2023-11-13 06:48:43
396阅读
NNLM（神经网络语言模型）简介一、模型的网络结构二、模型的原理2.1 模型的输入2.2 模型的输出三、模型的实践3.1 目标、参数和计算流程3.2 代码实现3.2.1 数据处理3.2.2 获取输入与目标数据3.2.3 模型的定义3.2.4 分类训练3.2.5 测试四、特点 简介 [B站视频](https://www.bilibili.com/video/BV1AT4y1J7bv/) 一、模型
转载
2023-08-08 07:38:48
116阅读
去参加鹅场的笔试，问到对深度学习的理解时，用了半个小时写下了这写答案，分析了深度学习的起源，发展，以及优缺点，为什么会有些有问题的存在，有些地方还不完善，还需要补充。神经网络在发展过程中，经历了3次起伏，这很重要的原因在于神经网络的优缺点在不同时代得以体现。在理论上讲，只包含单层隐藏层神经网络，可以拟合任何函数，然后这在实际情况中是不常用的。往往采用含多层隐藏层的神经网络来对数据进行拟合。 一、缺
转载
2023-07-05 19:53:54
405阅读
