几种主要的神经网络一、全连接神经网络二、前馈神经网络（Feedforward neural network，FNN）三、卷积神经网络（Convolutional Neural Network，CNN）四、循环神经网络（Recurrent neural network，RNN ） 一、全连接神经网络顾名思义，全连接神经网络中，对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。
转载
2023-10-08 12:31:00
52阅读
1.引言本文构建的全连接神经网络模型结构图如上。其中中间隐藏层的数量以及各层（输入层、隐藏层、输出层）的神经单元数量均可 自由设置，本文构造的神经网络并不是专门为识别手写数字而写死的，而是可以根据 任务的需要，自由改变神经网络的参数（如层数、神经单元数、学习率、学习率衰减值 等）。在本文里以识别手写数字为例，输出层的神经单元数为 9，结构图为了能够表示得更清晰（使其看 起来不混乱），遂只绘制了 3
转载
2024-01-16 20:40:37
184阅读
*注:本博客参考李宏毅老师2020年机器学习课程 目录1 神经网络1.1 全连接前馈神经名词解释2 深度学习3 深度学习中的典型问题3.1 为什么需要“深度学习”3.2 深层结构的求导问题 1 神经网络在逻辑回归任务中，我们使用到的模型是一个函数，其中包含许多参数，最终模型的输出y可以表示为： 用图来表示为：(图1)*如果将虚线框中的部分用一个单元来表示，称为“神经元”，那么可以将上图简化为：(图
转载
2023-11-11 07:12:06
56阅读
接下来聊一聊现在大热的神经网络。最近这几年深度学习发展十分迅速，感觉已经占据了整个机器学习的“半壁江山”。各大会议也是被深度学习占据，引领了一波潮流。深度学习中目前最火热的两大类是卷积神经网络(CNN)和递归神经网络(RNN)，就从这两个模型开始聊起。当然，这两个模型所涉及到概念内容实在太多，要写的东西也比较多，所以为了能把事情讲得更清楚，这里从一些基本概念聊起，大神们不要觉得无聊啊……今天
转载
2023-09-08 15:25:23
208阅读
前言本文为学习《深度学习》入门一书的学习笔记，详情请阅读原著一、整体结构卷积神经网络（Convolutional Neural Network，CNN）。CNN被用于图像识别、语音识别等各种场合。CNN和之前介绍的神经网络一样，可以通过组装层来构建，但是，CNN中出现了卷积层（Convolution 层）和 池化层（Pooling层）。卷积层和池化层将在下一节讲述，先看看如何组装层以构建CNN。之
转载
2023-11-07 06:51:55
152阅读
本文有一部分内容参考以下两篇文章： 一文弄懂神经网络中的反向传播法——BackPropagation 神经网络 最简单的全连接神经网络如下图所示(这张图极其重要，本文所有的推导都参照的这张图，如果有兴趣看推导，建议保存下来跟推导一起看)： 它的前向传播计算过程非常简单，这里先讲一下： 前向传播 Y1=f
转载
2023-10-22 08:34:22
96阅读
卷积神经网络是近年来深度学习能在计算机视觉领域取得突破性成果的基石。它也逐渐在被其他诸如自然语言处理、推荐系统和语音识别等领域广泛使用。一、卷积神经网络简介卷积神经网络的结构：卷积层、池化层、全连接层。全连接层通常作为网络的最后几层，其中的每个神经元都与上层中的所有神经元相连，所以称之为全连接层。全连接层之前是若干对卷积层与池化层，卷积层与池化层一一对应，且卷积层在前，池化层在后。本质上卷积层与池
转载
2023-09-09 20:27:54
88阅读
1、导入数据集和tensorflow包from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf2、初步探索mnist数据集的内容此处使用mnist数据集，如果需要用自己的数据集，将数据读入pandas的dataframe中即可；mnist = input_data.read_data_set
转载
2023-11-07 14:48:54
115阅读
深度神经网络深度神经网络(Deep Neural Network)是人工智能领域中，机器学习这一大类下，使用多层(深层)感知机来构建的一种人工智能模型 也叫全连接神经网络(Full Connect Neural Network)从三部分来理解 ①深度：指构成模型的 层数 很深(规模很大) ②神经：指构成模型的基本单元为感知机——一种对生物神经元进行仿生得出的线性函数 ③网络：指连接各个单元的方式是
转载
2024-04-08 10:30:05
325阅读
文章目录实验一 全连接神经网络FCNN实验说明背景知识实验步骤0. 概览1. Import Numpy2. 导入其他 Python 库 （Import Other Libraries）3. 定义神经网络结构4. 初始化神经网络4.1 理解权重矩阵 ? 和偏置向量 ?4.2 参数初始化方法4.3 尝试不同的参数初始化方法5. 实现激活函数6. 实现神经网络的前向传播过程6.1 函数 6-1 （si
转载
2023-07-26 14:01:34
89阅读
看别人的代码和自己写代码，两种的难度和境界真是不一样。昨天和今天尝试着写一个简单的全连接神经网络，用来学习一个基本的模型，在实现的过程中遇到了不少的坑，虽然我已经明白了其中的原理。我想了一个教材上面没有的简单例子，尝试着自己构造训练数据集和测试集。我希望训练一个能够区分红点和蓝点的模型。在我构造的数据集中，当x < 1的时候，为蓝点；当x >1的时候为红点。 对于这个全连接网络，输入
转载
2024-01-03 16:46:41
72阅读
文章目录全连接网络结构的前向传播算法单个神经元全连接网络结构计算过程举例代码实现该神经网络样例程序搭建神经网络的过程：准备、前向传播、反向传播、循环迭代准备前向传播：定义输入、参数和输出反向传播：定义损失函数、反向传播方法循环迭代：生成会话，训练STEPS轮总结 全连接网络结构的前向传播算法单个神经元 从上图可以看出，单个神经元有多个输入和一个输出。而神经网络的结构是不同神经元之间的连接结构。神
转载
2023-12-14 01:47:13
131阅读
一、狭义的DNN（DBN）1、什么是广义的DNN？
广义DNN是我们常说的 深度神经网络（deep neural network），它是区分 最多3层结构（隐层=1）感知器所构成ANN网络，也
就是说带有激活函数的神经元如果构成的网络隐层>=2 ，都称之深度神经网络DNN。
2、什么是狭义的DNN？
狭义的DNN指的是全连接型的DNN网络，又名DBN
3、全连接DNN
转载
2024-03-05 10:57:35
131阅读
人工神经网络（Artificial Neural Network, ANN）简称神经网络，可以对一组输入信号和一组输出信号之间的关系进行模拟，是机器学习和认知科学领域中一种模仿生物神经网络的结构和功能的数学模型。用于对函数进行估计或近似，其灵感来源于动物的中枢神经系统，特别是大脑。
转载
2023-07-31 17:48:02
168阅读
深度学习/联邦学习笔记（五）多层全连接神经网络实现MNIST手写数字分类+Pytorch代码神经网络是一个有神经元构成的无环图，神经网络一般以层来组织，最常见的是全连接神经网络，其中两个相邻层中每一个层的所有神经元和另外一个层的所有神经元相连，每个层内部的神经元不相连，如下图（隐藏层可以有多层）：先在一个net.py文件中，定义一些相关的神经网络和激活函数等等import torch
from t
转载
2024-01-17 09:16:01
131阅读
深度前馈神经网络(Deep Feedforward Neural Network)，简称为前馈神经网络(Feedforward Neural Network)，指的是具有前馈特征的神经网络模型。最具代表性的是多层感知机(Multilayer Perceptron，MLP)模型，习惯上会将MLP称为（Deep Neural Network，DNN），但这非常狭义，实际上深度神经网络应该泛指更多的使用
转载
2023-10-24 07:06:38
106阅读
文章目录一、深度学习的三个步骤1.1 全连接前馈网络（Fully Connect Feedforward Network）1.2 矩阵运算（Matrix Operation）1.3 手写数字辨识二、确定评价函数（goodness of function）三、寻找最优模型（pick the best function） 一、深度学习的三个步骤神经元（Neuron）：任意的一个逻辑回归单元神经网络（
转载
2024-01-17 07:43:45
170阅读
新认知机 (Fukushima, 1980年) 受哺乳动物视 觉系统的结构启发，引入了一个处理图片的强大模型架构，它后来成为了现代卷积网络的基础 (LeCun et al., 1998年)。 卷积神经网络是深度学习中最经典的模型之一。它可以解决全连接网络中参数过多的问
转载
2023-10-20 21:36:59
211阅读
1. 整体结构卷积神经网络（CNN）：多了卷积层（Convolution层）和池化层（Pooling层）。全连接（fully-connected）：相邻层的所有神经元之间都有连接。另外，我们用Affine层实现了全连接层。基于全连接层（Affine层）的网络： 全连接的神经网络中，Affine层后面跟着激活函数ReLU层（或者Sigmoid层）。这里堆叠了4层“Affine-ReLU”组合，然后第
转载
2023-11-06 19:46:54
172阅读
由于项目需要，用U-NET跑一个程序来对医学影像进行分割（segmentation），因此跑去看了下这篇论文（paper），下面会介绍一下U-Net的框架及要点，如果哪里有写的不对的，或者好的建议，欢迎提出并纠正。概要U-Net通俗来讲也是全卷积神经网络的一种变形，主要其结构经论文作者画出来形似字母U（见图 1），因而得名U-Net。整个神经网络主要有两部分组成：搜索路径（contracting
转载
2023-11-06 14:35:59
171阅读
