本章简要介绍神经网络的计算，特别是卷积神经网络，重点介绍理解和使用MatConvNet所需的概念。2.1 概述神经网络（NN）是将数据x（例如图像）映射到输出矢量y（例如图像标签）的函数。函数g = fL◦…◦f1是一系列简单函数fl的组合，称为计算块或图层。令x1，x2，…，xL为网络中每一层的输出，令x0 = x表示网络输入。通过应用具有参数wl的函数fl，从先前的输出xl-1计算每个中间输出
转载
2023-08-03 15:11:49
40阅读
“学习”目的：从训练数据中自动获取最优权重、偏置参数，使得损失函数达到最小。▲注：若有100个训练数据，要把100个损失函数的总和作为学习的指标。即： 假设有N个数据，tnk表示第n个数据的第k个元素的值，ynk是神经网络的输出，tnk是监督数据。得到E为单个数据的平均损失函数。 ▲注：为使损失函数达到最小，需要计算权重、偏置参数的导数（准确的说是梯度），然后以这个导数为指引，逐步更新参数的值。
转载
2023-08-30 19:00:00
222阅读
！！！深度学习知识梳理系列文章汇总！！！深度学习知识梳理（干货满满详解DNN/CNN/RNN）之神经网络基础（一）深度学习知识梳理（干货满满详解DNN/CNN/RNN）之深度学习网络结构（二）深度学习知识梳理（干货满满详解DNN/CNN/RNN）之深度学习网络模型（三）深度学习知识梳理（干货满满详解DNN/CNN/RNN）之模型训练（四）深度学习知识梳理（干货满满详解DNN/CNN/RNN）之评估
转载
2024-01-02 15:40:43
89阅读
# 实现 PyTorch BNN 二值神经网络
## 简介
本文将教会你如何使用 PyTorch 实现 BNN（Binary Neural Network）二值神经网络。BNN 是一种将神经网络中的权重和激活值限制为二值（-1 或 1）的神经网络。相比传统的浮点数神经网络，BNN 可以带来更高效的计算和更小的存储需求，尤其适用于嵌入式设备等资源受限的场景。
## 整体流程
下面是实现 BNN
原创
2023-08-20 03:30:24
596阅读
1评论
import torch
import torch.nn as nn
import torch.optim as optim
import torch.utils.data
import torch.nn.functional as F
import torchvision
from torchvision import transforms
from PIL import Image
def
转载
2023-06-02 11:41:42
320阅读
1 贝叶斯网络在地学中的应用1.1基本原理及发展过程1.2 具体的研究与应用2 BP神经网络在地学中的应用2.1BP神经网络简介2.2基本原理2.3 在地学中的具体应用与研究结论参考文献 1 贝叶斯网络在地学中的应用贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型，所谓概率推理就是通过一些变量的信息
转载
2023-07-14 19:26:05
176阅读
神经网络一、人工神经网络人工神经网络(Artificial Neural Network,ANN),基本思想是模拟人脑的神经网络进行机器学习人工神经 is 深度学习的基础简称为神经网络或神经计算1. 神经网络结构是一种仿生的方法，科研适应复杂模型的启发式学习技术2. 一个神经元的结构神经元的结构包括植入值（x1,x2,…,xn）,权重（w1,w2,…,wn）以及偏移量b。输出值为$y = f(\s
转载
2023-08-11 19:50:17
288阅读
第三章分析写出网络结构前向传播测试集判断 分析写出网络结构class Network:#定义一个神经网络对象
def __init__(self,sizes):#初始参数，sizes是每层的神经元个数
self.sizes=sizes
self.num_layers=len(sizes)
self.biases=[np.random.ran
转载
2023-09-19 23:08:11
111阅读
BP神经网络（python代码） 神经网络是深度学习的基础。个人理解神经网络就是可以拟合任何一种广义线性模型的结构，本文主要记录python代码的学习笔记。BP神经网络原理（待补充，可以详见《数据挖掘概念与技术》P258页）伪代码：代码中使用的随机梯度下降，伪代码是使用整体数据做梯度下降。
[python]
view plain
 
转载
2023-06-29 22:28:38
173阅读
LSTM和GRU目前被广泛的应用在各种预测场景中，并与卷积神经网络CNN或者图神经网络GCN这里等相结合，对数据的结构特征和时序特征进行提取，从而预测下一时刻的数据。在这里整理一下详细的LSTM/GRU的代码，并基于heatmap热力图实现对结果的展示。一、GRUGRU的公式如下图所示： 其代码部分：class GRU(torch.nn.Module):
def __init__
转载
2023-08-06 12:56:42
151阅读
卷积神经网络在几个主流的神经网络开源架构上面都有实现，我这里不是想实现一个自己的架构，主要是通过分析一个最简单的卷积神经网络实现代码，来达到进一步的加深理解卷积神经网络的目的．具体的怎么使用这里就不用说了，这里都有介绍，我只是分析一下这个代码的实现过程并解析代码，梳理一下神经网络是怎么使用的和构造原理．一般的神经网络主要包含几个步骤：准备滤波器。卷积层：使用滤波器对输入图像执行卷积
转载
2023-09-26 10:48:27
114阅读
我对源代码做了大量的注解，希望有助于大家理解#coding:utf-8
#与文章 中的步骤搭配使用
#该模型具有泛用性，即可以添加任意多的隐藏层，但需要修改train部分代码来连接新加入的层和原有的层，使其能够正常地向前和向后传递
import random
import math
# 参数解释：
# "pd_" ：偏导的前缀
# "d_" ：导数的前缀
# "w_ho" ：隐
转载
2023-07-20 16:23:53
90阅读
大纲本文为GNN教程的第七篇文章【使用DGL框架实现GCN算法】。图神经网络的计算模式大致相似，节点的Embedding需要汇聚其邻接节点Embedding以更新，从线性代数的角度来看，这就是邻接矩阵和特征矩阵相乘。然而邻接矩阵通常都会很大，因此另一种计算方法是将邻居的Embedding传递到当前节点上，再进行更新。很多图并行框架都采用详细传递的机制进行运算(比如Google的Pregel)。而图
转载
2023-07-14 16:46:13
129阅读
上一遍写到了，公式，或者是一下关于BP神经网络的内容的语言描述。下面就要开始，进行深度点的分析。 &
转载
2023-07-27 12:41:20
124阅读
一、损失函数(loss) [前向传播的预测值y与已知答案y_的差距]： 1.优化目标：使loss达到最小值。 2.优化方法：均方误差（mse） 交叉熵（ce） 自定义详解：1.均方误差mse：公式：函数：loss_mse = tf.reduce_mean(tf.square(y_ - y))tf.reduce_mean(x) :表示计算所有元素的平均值。
转载
2018-09-25 16:51:00
133阅读
卷积神经网络在几个主流的神经网络开源架构上面都有实现，我这里不是想实现一个自己的架构，主要是通过分析一个最简单的卷积神经网络实现代码，来达到进一步的加深理解卷积神经网络的目的．笔者在github上找到了一个十分简单的卷积神经网络python的代码实现：具体的怎么使用这里就不用说了，这里都有介绍，我只是分析一下这个代码的实现过程并解析代码，梳理一下神经网络是怎么使用的和构造原理．一般的神经网络主要包
转载
2023-07-20 14:41:54
83阅读
1. 前言VGG是由牛津大学视觉组（Visual Geometry Group，Vgg的名称也是来源于此）在2014年的论文《Very Deep Convolutional Networks for Large-Scale Visual Recognition》中提出的卷积神经网络模型。VGG将LeNet和AlexNet奠定的经典串行卷积神经网络结构的深度和性能发挥到极致，主要特点是网络层数较深，
转载
2023-10-13 00:20:24
135阅读
finetune 就是微调的意思，那为什么要微调呢，为什么不能自己重新训练一个网络呢？ 因为我们没呢么多样本，没那么高超的技术使神经网络合理且有用，因此我在训练好的模型的基础上只训练其中一个或几个层，而把其他层的参数都冻结起来。一个正确的训练好的神经网络应该是什么样的呢？ 如果将神经网络中的所有过滤器都可视化的话，可以发现，由低到高实际上是不断组合，不断得到更高层次抽象的过程，例如一开始只是一些颜
转载
2023-08-20 08:32:58
131阅读
图神经网络（三）GCN的变体与框架（4）GNN的通用框架3.4 GNN的通用框架3.4.1 MPNN3.4.2 NLNN1.内积2.全连接3.高斯函数3.4.3 GN参考文献 3.4 GNN的通用框架 在介绍完GNN的集中变体后，本节我们来看看GNN的通用框架。所谓通用框架，是对多种变体GNN网络结构的一般化总结，也是GNN变成的通用范式，研究它能够帮助我们更加清晰地横向对比各类GNN模型，同时
转载
2023-07-24 08:14:28
156阅读
Article作者：David Silver*, Aja Huang*, Chris J. Maddison etc. 文献题目：通过深度神经网络和树搜索掌握围棋游戏 摘要由于其巨大的搜索空间和评估棋盘位置和移动的难度，围棋一直被视为人工智能经典游戏中最具挑战性的游戏。在这里，我们介绍了一种新的计算机围棋方法，它使用“价值网络”来评估棋盘位置和“策略网络”来选择走法。这些深度神经网络通过人类专家游
转载
2023-09-20 21:20:42
151阅读
