ResNetResNet又名残差神经网络，指的是在传统卷积神经网络中加入残差学习（residual learning）的思想，解决了深层网络中梯度弥散和精度下降（训练集）的问题，使网络能够越来越深，既保证了精度，又控制了速度。研究背景随着网络的加深，梯度弥散问题会越来越严重，导致网络很难收敛甚至无法收敛。梯度弥散问题目前有很多的解决办法，包括网络初始标准化，数据标准化以及中间层的标准化（Batch
转载
2023-07-14 17:25:49
136阅读
上一节我们提到G和D由多层感知机定义。深度学习中对图像处理应用最好的模型是CNN，那么如何把CNN与GAN结合？DCGAN是这方面最好的尝试之一。源码：https://github.com/Newmu/dcgan_code 。DCGAN论文作者用theano实现的，他还放上了其他人实
转载
2017-11-09 21:39:00
284阅读
2评论
神经网络入门
神经网络（Neural Network）是一种模拟人脑神经元网络结构的机器学习算法，可以用于分类、回归、图像处理等任务。本篇博客将为你介绍神经网络的基本概念、工作原理、常见模型及其应用场景。
转载
2023-07-31 17:29:54
2阅读
七、激活函数的使用 通过之前的学习我们都了解到了激活函数的作用，现在我们将会讲解一下激活函数在不同的神经网络中的应用： 1、首先是sigmoid 函数： a=11+e−z 它的图像可以表示为： 但是这个激活函数多使用在二分分类输出的神经网络，因为需要寻找1和0值，所以在一般的神经网络中我们很少使用这个激活函数。对应的导数为： g′(z)=a(1−a) 这为后面的计算节省了很多时间。 2
转载
2024-01-10 20:01:43
186阅读
卷积神经网络一、卷积神经网络与BP网络（传统前馈神经网络）相比具有以下特点：（1）、采取局部连接（稀疏连接），减少了所需参数； （2）、可直接处理二维数据，故常被用于图片处理操作； （3）、具有三个基本层——卷积层、池化层、全连接层：卷积层CNN算法常用于图片处理，其中卷积层是通过多个卷积核对输入的图片像素矩阵进行局部连接，通过权值共享与卷积的方式进行图片的特征提取得到特征映射数据。（所以卷积核又
转载
2023-09-15 15:36:43
439阅读
一、传统神经网络和卷积神经网络比较传统的BP神经网络是一种由大量的节点（神经元）之间相互联接构成，按照误差逆向传播算法训练的多层前馈神经网络。卷积神经网络是包含卷积计算且具有深度结构的前馈神经网络。在原来多层神经网络的基础上，加入了特征学习部分，这部分可以模仿人脑对信号的处理；其中隐藏层可以进一步分为卷积层和池化层，卷积层通过一块块卷积核在原始图像上平移来提取特征，池化层是一个筛选过滤的过程。
转载
2023-10-23 09:34:48
1224阅读
1.深层神经网络（Deep L-layer neural network） 在前面的内容中，我们学习了只有一个单独隐藏层的神经网络的正向传播和反向传播，还有逻辑回归，并且还学到了向量化（这在随机初始化权重时很重要） 现在我们要将这邪恶理念集合起来，用来执行我们自己的深度神经网络。在过去的几年里。DLI（深度学习学院deep learning institute）已经意识到有
转载
2023-05-26 23:40:40
359阅读
一、RNN原理RNN的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的。 序列数据往往前后时刻是相关的，因此用RNN。RNN特点 1、权值共享，图中的W全是相同的，U和V也一样。 2、每一个输入值都只与它本身的那条路线建立权连接，不会和别的神经元连接。前向传播 交叉熵损失函数：反向传播应用多层网络、双向网络结构RNN缺点 容易出现梯度消失或者梯度爆
转载
2023-10-19 10:38:44
460阅读
一、神经网络简介1.什么是神经网络根据周志华教授在《机器学习》一书中的定义，神经网络是由具有适应性简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。用一句话概述就是：神经网络能够模拟神经系统对输入作出一定反映。2.神经元神经元是神经网络中最基本的成分，有“兴奋”和“抑制”两种状态。神经网络是由一个个神经元按照一定结构组成，每个神经元和其他神经元相连。当某
转载
2023-10-18 08:57:00
71阅读
导读一般而言，我们可以把神经网络分为前馈网络、递归网络和反馈网络。前馈网络一般指前馈神经网络或前馈型神经网络。它是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层地输出，并输出给下一层，各层间没有反馈。包括：BP神经网络、RBF神经网络等。递归神经网络（RNN）是两种人工神经网络的总称。一种是时间递归神经网络（recurrent neural ne
转载
2023-10-18 19:48:46
151阅读
Embedding在数学上是一个函数，将一个空间的点映射到另一个空间，通常是从高维抽象的空间映射到低维的具象空间。Embedding的作用：将高维数据转换到低维利于算法的处理；同时解决one-hot向量长度随样本的变化而变化，以及无法表示两个实体之间的相关性这一问题。Graph Embedding的分类：1.DeepWalk 借鉴了word2vec的思想，词嵌入是对一个句子的单词序列进行分析，而
转载
2023-09-15 12:57:30
179阅读
【新智元导读】7月27日上午，第43届国际信息检索大会(SIGIR 2020)线上开启，图灵奖得主Geoffrey Hinton作了主题演讲，今天我们就跟随Hinton一起走进「神经网络的新时代」。人工神经网络一直悬而未决的问题是如何像大脑一样有效地进行无监督学习。 当前有两种主要的无监督学习方法。 第一种方法，以BERT和变分自编码为代表，使用深度神经网络来重建其输入。 第二种方法，是Beck
转载
2023-11-17 17:08:53
62阅读
神经网络的基本原理是什么?神经网络的基本原理是：每个神经元把最初的输入值乘以一定的权重，并加上其他输入到这个神经元里的值（并结合其他信息值），最后算出一个总和，再经过神经元的偏差调整，最后用激励函数把输出值标准化。基本上，神经网络是由一层一层的不同的计算单位连接起来的。我们把计算单位称为神经元，这些网络可以把数据处理分类，就是我们要的输出。神经网络常见的工具：以上内容参考：在众多的神经网络工具中，
转载
2023-09-14 16:31:38
42阅读
主要内容：一.卷积神经网络简介二.卷积神经网络之前向传播简介三.padding填充四.stride步长五.信道(channel)个数与过滤器(filter)个数的区别六.卷积的一步七.一次完整的卷积八.池化层九.1 * 1 filter 一.卷积神经网络介绍1.何为卷积神经网络？顾名思义，就是在神经网络上引入了卷积思想，以此实现了参数共享、大大地降低的
转载
2023-10-24 04:55:59
188阅读
上一篇博客梳理了神经网络的一些重要概念和逻辑，本文将围绕神经网络中的过拟合和正则化展开。1.过拟合较多的隐藏层可以提取输入不同层次的特征，但是不是越多越好，会出现过拟合的问题（训练集的损失函数值很小，但是测试集的损失函数值很大）。 以下是欠拟合、过拟合和理想状态的示意图：因此要找到过拟合和欠拟合中间泛化误差最小的那个阈值2.正则化的要义：正则化参数的同时，最小化训练误差。常见的通用模型公式如下：第
转载
2023-08-14 11:19:24
264阅读
①感知机解决分类问题有n个输入数据，通过权重与各数据之间的计算和，比较激活函数结果，得出输出 很容易解决 与或问题与问题：所有的输入为1，输出就为1 或问题：只要有一个为1，输出就为1 异或问题：相同为0，不同为1可以利用两个感知机构建出两条直线进行分类 ②神经网络基本知识神经网络组成：层：输入层、隐层、输出层组成：结构（神经网络中的权重）、激活函数、学习规
转载
2023-08-21 09:29:10
62阅读
1 基本概念BP神经网络是一种通过误差反向传播算法进行误差校正的多层前馈神经网络，其最核心的特点就是：信号是前向传播，而误差是反向传播。前向传播过程中，输入信号经由输入层、隐藏层逐层处理，到输出层时，如果结果未到达期望要求，则进入反向传播过程，将误差信号原路返回，修改各层权重。2 BP神经网络结构BP神经网络包含输入层、隐藏层和输出层，其中，隐藏层可有多个，其中，输入层和输出层的节点个数是固定的（
原创
2021-03-23 20:00:09
3030阅读
谷歌实际操作已经有3年了为什么还是没有将网络的能力指数增加原因是为什么这萝卜还用说坑一定是现在的神经网络本质就是无法指数级别优化的所以谷歌填坑这么多年仍然没有填好,但是走向正确的道理之前一定是经过错误,才能避免错误的如果谷歌得到了什么启示,
原创
2021-04-22 20:32:04
852阅读
卷积神经网络 CNN 文章目录卷积神经网络 CNN一、概述二、卷积的概念三、CNN原理3.1 卷积层3.2 池化层3.3 完全连接层3.4 权值矩阵BP算法3.5 层的尺寸设置四、CNN简单使用五、总结 一、概述 卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
转载
2023-07-10 16:09:28
1435阅读
深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性，其中每个概念都定义为与简单概念相关联，更为抽象的表示以较为不抽象的方式来计算。卷积神经网络是一种前馈型神经网络，受生物自然视觉认知机制启发而来。卷积神经网络一般用于计算机视觉领域，由于有时候图片像素很多，导致神经网络输入特征值的维数很多。CNN结构图 在结构图中，第一层输入图片，进行卷积操作，得到第二层深
转载
2023-11-12 13:25:25
438阅读
