什么是GNNGNN是Graph Neural Network的简称，是用于学习包含大量连接的图的联结主义模型。当信息在图的节点之间传播时GNN会捕捉到图的独立性。与标准神经网络不同的是，GNN会保持一种状态，这个状态可以代表来源于人为指定的深度上的信息。图神经网络处理的数据就是图，而图是一种非欧几里得数据。GNN的目标是学习到每个节点的邻居的状态嵌入，这个状态嵌入是向量且可以用来产生输出，例如节点
转载
2023-09-22 16:12:28
347阅读
之前面的博客中，我们已经描述了基本的RNN模型。但是基本的RNN模型有一些缺点难以克服。其中梯度消失问题（Vanishing Gradients）最难以解决。为了解决这个问题，GRU（Gated Recurrent Unit）神经网络应运而生。本篇博客将描述GRU神经网络的工作原理。GRU主要思想来自下面两篇论文：Cho et al., 2014. On the Properties of Neu
GGNN----------门控图神经网络
原创
2021-08-02 14:55:50
1749阅读
8.神经网络和深度学习8.1神经网络的术语 节点、感知器或神经元：神经网络的基本组成部分。每个节点或神经元接收输入数据并对数据执行操作。 执行完操作后，该节点或神经元可能会或不会传递操作到下一个节点/神经元 激活：与操作节点相关的输出或者值 激活函数：将节点输入转换成输出或激活操作的函数 权重或偏差：这些值定义了激活函数中输入和输出数据之间的关系 输入层：神经网络的输入层包含一系列节点，用于接收神
转载
2023-09-18 15:58:11
229阅读
浅读各类图神经网络现在需要对非欧氏结构的数据进行建模，听说最近图神经网络这块火得很，所以找了各类不同的图神经网络进行对比和分析。图神经网络的核心在于将图结构转化为向量，这个过程被称为嵌入(Embedding)，这是借鉴于自然语言处理中的Word2Vec，所以首先要对Word2Vec有初步的了解。Efficient Estimation of Word Representations in Vect
转载
2024-01-31 12:25:51
46阅读
1、前言 神经网络的优化方法有很多，前面学习了神经网络参数的初始化方法，好的初始化方法可以让网络训练的更快，也可能让网络收敛的更好。同样，好的优化方法同样具有这样的作用。注意：谈论优化方法时候，并没有修改损失函数，只是修改了网络学习过程中参数的更新方法。 之前经常使用梯度下降法来优化网络，今天学习了梯度下降法的几个改进版本：Momentum、RM
转载
2023-09-02 13:58:32
156阅读
最近一直在看卷积神经网络，想改进改进弄出点新东西来，看了好多论文，写了一篇综述，对深度学习中卷积神经网络有了一些新认识，和大家分享下。其实卷积神经网络并不是一项新兴的算法，早在上世纪八十年代就已经被提出来，但当时硬件运算能力有限，所以当时只用来识别支票上的手写体数字，并且应用于实际。2006年深度学习的泰斗在《科学》上发表一篇文章，论证了深度结构在特征提取问题上的潜在实力，从而掀起了深度结构研究的
转载
2023-10-08 08:17:15
15阅读
针对前几次做的笔记，发现训练集太少的情况下，识别率太低。有可能降到50%的情况。后做了几次改进，不过这几次改进还是在训练集只有100个，测试集10个的情况下，识别率有了一点提高，能稳定在60%，70%。可能如果加大训练集的话，识别率会有很大提升。 具体的改进有以下几点：（1）增加训练次数： 即把整个训练集运行多次，保持学习率不变。这是值得的，原因是通过提供更多的爬下斜坡的机会，有助于梯
转载
2023-08-08 10:55:37
208阅读
目录初识神经网络 1.1 感知器 1.2 Sigmoid函数 1.3 代价函数 1.4 梯度下降算法反向传播算法神经网络改进算法 3.1Cross-entropy代价函数——神经元饱和 3.2正则化(Regularization)——过拟合 3.3权值初始化——隐含层神经元饱和
深度学习 4.1 万有逼近定理(Universal Approximation Theory) 4.2
转载
2024-01-06 23:28:12
128阅读
综述前文“神经网络小白篇”已经研究了神经网络的基本结构和运算过程。下面我们来考虑两个问题提升训练速度和过拟合。首先我们来看一下第一个问题。如何提升神经网络的训练速度要提升训练速度我们得先来看看神经网络的训练速度与什么有关。首先回顾一下上文阐述的几个公式和模型：上图给出的结构和公式仍然是上一篇的结构。我们观察一下对w和b偏导结构。根据渐进思想，发现用来衡量学习速度的是在z的条件下激活函数的梯度值。插
转载
2023-08-08 10:55:47
89阅读
文章目录基本卷积神经网络AlexNetVGG-16残差网络常用数据集MNISTPASCAL VOCMS COCOImageNet评价指标目标检测和YOLO目标检测问题滑动窗口法和一步法YOLO网络结构 基本卷积神经网络AlexNet网络结构：网络改进：池化层均采用最大池化选用ReLU作为非线性环节激活函数替代Tan Sigmoid函数网络规模扩大，参数数量接近6000万出现“多个卷积层+一个池化
转载
2023-11-09 05:14:47
92阅读
一、RBF神经网络1988年，Broomhead和Lowc根据生物神经元具有局部响应这一特点，将RBF引入神经网络设计中，产生了RBF(Radical Basis Function)。1989年，Jackson论证了RBF神经网络对非线性连续函数的一致逼近性能。RBF的基本思想是：用RBF作为隐单元的“基”构成隐藏层空间，隐含层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，使得在低维空
转载
2023-10-08 10:01:19
5阅读
# RBF神经网络改进实现教程
## 介绍
在本教程中，我将教会你如何实现RBF神经网络改进。RBF神经网络是一种基于径向基函数(Radial Basis Function)的神经网络模型，被广泛应用于模式识别、函数逼近等领域。我们将按照以下步骤来实现这个网络。
## 步骤
1. 数据预处理：首先，我们需要准备我们的数据集。数据集应该包含输入特征和相应的目标值。我们可以使用一些预处理技术，
原创
2023-12-31 06:21:34
88阅读
close all;clear all;clc;%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%t;load demand.txt;...
原创
2022-10-10 15:55:07
123阅读
1.特征金字塔FPN通常情况下，由于检测网络是信息压缩的网络，所以会使得图像的分辨率逐渐降低，从而造成一些小物体在特征图上的有效信息较少，小物体的检测性能会逐渐下降，该现象通常被称作为多尺度问题。而特征金字塔作为解决该问题的传统方法，其思想主要就是将尺度的图像（也就是经过不同层卷积的特征图），从不同尺度的图像上生成不同尺度的特征，再将特征进行融合。具体结构如下所示：2.2残差模块引入该模块的原因主
转载
2023-08-30 08:49:01
140阅读
反向传播算法是大多数神经网络的基础，我们应该多花点时间掌握它。还有一些技术能够帮助我们改进反向传播算法，从而改进神经网络的学习方式，包括：选取更好的代价函数正则化方法初始化权重的方法如何选择网络的超参Cost Function这里来看一个非常简单的神经元，我们输入1，期望它输出0。我们看看 Gradient Descent 是如何帮助我们学习 Weights 和 Biases 的。Round 1我
改善神经网络的性能1 数据集1.1 数据集的划分1.2 数据集的分布2 偏差与方差2.1 高偏差与高偏差2.2 解决方案3 防止过拟合3.1 L2正则化（L2 regularization）3.2 Dropout 正则化3.3 数据扩增（Data augmentation）3.4 early stopping4 数据归一化5 梯度消失与梯度爆炸5.1 什么是梯度消失（爆炸）5.2 梯度消失（爆炸
转载
2024-03-12 21:56:23
84阅读
神经网络前言正文step1 建立一个神经网络模型一个常见的神经网络——完全连接前馈神经网络本质举例：手写识别step2 模型评估step3 最佳模型——梯度下降反向传播(
我们取出一个神经元进行分析Forward Pass
作者：Steeve Huang编译：ronghuaiyang 导读 给大家介绍目前非常热门的图神经网络，包括基础和两个常用算法，DeepWalk和GraphSage。近年来，图神经网络(GNN)在社交网络、知识图谱、推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。GNN具有对图中节点间依赖关系建模的强大功能，使得图分析相关研究领域取得了突破。本文会介绍图神经网络的基本原理，以及两种更高级
转载
2024-02-05 16:50:12
765阅读
《Bag of Tricks for Image Classification with Convolutional Neural Networks(2018)》，论文中以ResNet为例提出了一些简单的微调技巧，并且取得了一定的成果。且不说准确率如何，论文中除了分析准确率有着怎样怎样的提升之外，还关注了产生了额外开销，并且通过分析、实验量化了这些开销，这是值得肯定的（比那些不考虑开销，盲目微调，
转载
2023-09-15 10:59:45
143阅读
