卷积神经网络的本质是将全连接神经网络的全连接层替换为卷积层，所以下面我们从全连接神经网络开始。一、全连接神经网络 1.神经元 单个神经元由输
转载
2023-11-13 11:38:31
93阅读
知乎视频www.zhihu.com
简单循环神经网络的局限性循环神经网络横向结构也是借助激活函数进行传递的： 上图是循环神经网络按时间步展开，而如果一次处理的时间步过长，即从左到右的层数很深，那么同样也会面临普通神经网络所遇到的梯度消失和梯度爆炸的问题。此外，还可能出现处理时序数据时特有的问题：无法长期记住当前的状态，例如词汇的单复数。在句子”The p
转载
2023-07-20 20:58:44
151阅读
撰文：侯振宇编辑：贾 伟现实世界中很多很多任务可以描述为图(Graph)问题，比如社交网络，蛋白质结构，交通路网数据，图是一个很值得研究的领域。近年来，随着深度学习的发展，研究人员借鉴了CNN等神经网络的思想，定义和设计了用于处理图数据的神经网络结构——图神经网络（Graph Neural Networks，GNN）。不同于CNN可以通过堆叠非常多层数的神经网络来取得更好的模型表现，
目标能够说出循环神经网络的概念和作用能够说出循环神经网络的类型和应用场景能够说出LSTM的作用和原理能够说出GRU的作用和原理1. 循环神经网络的介绍为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特別是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此
转载
2023-07-04 18:25:02
445阅读
前言最近在学习图神经网络（GNN）的过程中，遇到很多不懂的地方，深度学习的基础没有掌握好。最早的GNN网络（详情见GNN）可以被用于处理有环图、有向图或无向图。然而，GNN网络本身必须使整个网络达到不动点之后才可以进行计算。针对这一问题，通过将GRU引入到网络结构中，进一步提出了GGNN网络（详情见GGNN）。那么，现在就介绍一下GRU是什么东西。GRU中的G不是Graph，而是Gate，全称是G
转载
2023-09-17 08:50:29
61阅读
神经网络(neural networks)是仿照动物的神经系统而来，期望机器可以获得类似人类的学习的能力。一、神经元模型神经网络中最基本的模型叫做神经元（neuron）或者（unit）。1943年， McCulloch and Pitts 按照生物神经元的功能（兴奋的接受，传递）抽象出神经元模型，即"M-P神经元模型"。上图中，表示来自n个其他神经元的输入信号，为这个n信号的权重。神经元收到这些输
转载
2023-08-07 20:35:48
328阅读
1.循环神经网络的介绍1.1 为什么有了神经网络还要有循环神经网络？在普通的神经网络中 ，信息的传递是单向的，这种限制虽然使网络变得更容易学习，但也在一定程度上减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前的输入有关，也和过去一段时间的输出有关。此外，普通的网络难以处理时序数据，比如，视频，语言，文本等。时序数据的长度一般是不固定的，而前馈神经网络的输入和输出一般都是固定的
转载
2023-09-04 15:41:44
65阅读
简介门控线性单元（GLU）是卷积神经网络中的一种门控机制，与循环神经网络的门控循环单元（GRU）不同的的是更加进行梯度容易传播，不易造成梯度消失或者梯度爆炸。而且在计算时间上也大幅度减少。GLU计算过程卷积网络就是对输入进行卷积以获得H = f ∗ w，因此没有时间依赖性，这使得在句子的单个单词上更容易并行化。这个计算过程将根据多个先前单词来计算每个上下文。 与递归网络相比，上下文的大小是有限的，
转载
2024-01-10 21:09:09
327阅读
七、激活函数的使用 通过之前的学习我们都了解到了激活函数的作用，现在我们将会讲解一下激活函数在不同的神经网络中的应用： 1、首先是sigmoid 函数： a=11+e−z 它的图像可以表示为： 但是这个激活函数多使用在二分分类输出的神经网络，因为需要寻找1和0值，所以在一般的神经网络中我们很少使用这个激活函数。对应的导数为： g′(z)=a(1−a) 这为后面的计算节省了很多时间。 2
转载
2024-01-10 20:01:43
186阅读
卷积神经网络一、卷积神经网络与BP网络（传统前馈神经网络）相比具有以下特点：（1）、采取局部连接（稀疏连接），减少了所需参数； （2）、可直接处理二维数据，故常被用于图片处理操作； （3）、具有三个基本层——卷积层、池化层、全连接层：卷积层CNN算法常用于图片处理，其中卷积层是通过多个卷积核对输入的图片像素矩阵进行局部连接，通过权值共享与卷积的方式进行图片的特征提取得到特征映射数据。（所以卷积核又
转载
2023-09-15 15:36:43
439阅读
谷歌实际操作已经有3年了为什么还是没有将网络的能力指数增加 原因是为什么 这萝卜还用说 坑一定是现在的神经网络本质就是无法指数级别优化的所以谷歌填坑这么多年仍然没有填好,但是走向正确的道理之前一定是经过错误,才能避免错误的 如果谷歌得到了什么启示,目前的神经网络会得到很大的改进,或者是颠覆的创造.人类的基因也是如此的, 我们的染色体经过不断的自我复制的过程中进步,但是基因不过是一个编码而已真正强大
原创
2022-04-06 10:13:22
436阅读
1 基本概念BP神经网络是一种通过误差反向传播算法进行误差校正的多层前馈神经网络，其最核心的特点就是：信号是前向传播，而误差是反向传播。前向传播过程中，输入信号经由输入层、隐藏层逐层处理，到输出层时，如果结果未到达期望要求，则进入反向传播过程，将误差信号原路返回，修改各层权重。2 BP神经网络结构BP神经网络包含输入层、隐藏层和输出层，其中，隐藏层可有多个，其中，输入层和输出层的节点个数是固定的（
原创
2021-03-23 20:00:09
3030阅读
谷歌实际操作已经有3年了为什么还是没有将网络的能力指数增加原因是为什么这萝卜还用说坑一定是现在的神经网络本质就是无法指数级别优化的所以谷歌填坑这么多年仍然没有填好,但是走向正确的道理之前一定是经过错误,才能避免错误的如果谷歌得到了什么启示,
原创
2021-04-22 20:32:04
852阅读
卷积神经网络 CNN 文章目录卷积神经网络 CNN一、概述二、卷积的概念三、CNN原理3.1 卷积层3.2 池化层3.3 完全连接层3.4 权值矩阵BP算法3.5 层的尺寸设置四、CNN简单使用五、总结 一、概述 卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
转载
2023-07-10 16:09:28
1435阅读
深度学习是一种特殊的机器学习，通过学习将世界使用嵌套的概念层次来表示并实现巨大的功能和灵活性，其中每个概念都定义为与简单概念相关联，更为抽象的表示以较为不抽象的方式来计算。卷积神经网络是一种前馈型神经网络，受生物自然视觉认知机制启发而来。卷积神经网络一般用于计算机视觉领域，由于有时候图片像素很多，导致神经网络输入特征值的维数很多。CNN结构图 在结构图中，第一层输入图片，进行卷积操作，得到第二层深
转载
2023-11-12 13:25:25
438阅读
有哪些深度神经网络模型目前经常使用的深度神经网络模型主要有卷积神经网络(CNN)、递归神经网络(RNN)、深信度网络(DBN)、深度自动编码器(AutoEncoder)和生成对抗网络(GAN)等。递归神经网络实际.上包含了两种神经网络。一种是循环神经网络(RecurrentNeuralNetwork);另一种是结构递归神经网络(RecursiveNeuralNetwork)，它使用相似的网络结构递
转载
2023-08-03 06:54:54
672阅读
1、概述 本来想用卷积神经网络来预测点东西，但是效果嘛......，还是继续学习图像类的应用吧～前面学习的神经网络都是一些基础的结构，这些网络在各自的领域中都有一定效果，但是解决复杂问题肯定不够的，这就需要用到深度神经网络。深度神经网络是将前面所学的网络组合起来，利用各自网络的优势，使整体效果达到最优。这一节就简单的记下一些常用的深度神经网络模型，因为tensorflow等框架都将这些网络实现了，
转载
2023-10-03 20:24:38
304阅读
AI领域是一个非常交叉的领域，涉及很多技术：数学、软体、硬件和，尤其还有硬件环节，不过一切来源或输入的入口一般有三个：一个是图像识别和处理是其中一个非常重要的环节，一个是自然语言处理，还有一个就是借口输入。一、这是一个python卷积神经网络的代码（开源）：https://github.com/yangshun2005/CNN_sentence 二、下面是一些基本公式，以备忘：写CNN的
转载
2023-08-10 17:29:39
390阅读
卷积学习网络1.卷积神经网络简介一般的前馈神经网络权重参数矩阵过大，过拟合风险很高，并且在做图像处理时需要将图像展开为向量，这会丢失一些空间信息，于是在此基础上开发出卷积神经网络作为优化。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，与普通前馈神经网络不一样的是，卷积神经网络的输入层为图像数据（32x32x3矩阵）而不是将图像数据展开为向量计算，隐含层不再仅仅是神经层简单的线性非线性
转载
2023-08-18 20:40:14
552阅读
人工神经网络——前馈神经网络——多层神经网络——CNN、DNN、DBN。CNN（卷积神经网络）CNN、RNN、LSTM等各种神经网络都是基于FCNN（全连接神经网络）出发的，最基础的原理都是由反向传播而来。反向传播示意图：神经网络的训练是有监督的学习，也就是输入X 有着与之对应的真实值Y ，神经网络的输出Y 与真实值Y 之间的损失Loss 就是网络反向传播的东西。整个网络的训练过程就是不断缩小损失
转载
2023-09-21 08:21:18
902阅读
