参考文章：改善深层神经网络-初始化、正则化、梯度校验至今为止，数据集的加载、决策边界的曲线绘制代码不熟悉，向量与字典的相互转化的代码没细看。代码实现功能如下：初始化参数： 1.1：使用0来初始化参数 1.2：使用随机数来初始化参数 1.3：使用抑梯度异常初始化参数（参见视频中的梯度消失和梯度爆炸）正则化模型： 2.1：使用二范数对二分类模型正则化，尝试避免过拟合。 2.2：使用随机删除节点的方法精
转载
2023-11-06 19:43:47
88阅读
计算机视觉：图像分类、目标检测、图像分割、风格迁移、图像重构、超分辨率、图像生成、人脸等。视频中的图片处理也隶属于计算机视觉研究对象，包括视频分类、检测、生成等。 1. YOLO (You Only Look Once) You only look once (YOLO) is a state-of-the-art, real-time object detection system
转载
2023-11-30 22:34:38
95阅读
神经网络实战数据集一共分为50000训练集，10000测试集。但是我们为了速度考虑选择5000训练，500测试。初始化input_dim：输入数据是32*32彩色的。hidden_dim；隐藏层有十个神经元；num_classes输出十个类别的可能性。weight_scale：权重初始化小一些，reg正则化惩罚力度。#初始化w,b
def __init__(self, input_dim=3*32
转载
2023-09-17 00:00:38
159阅读
零基础，手把手教你第一个神经网络，只需三步！这篇文章只是为你扫清障碍代码还是要自己打一遍，才会发现各种报错。参数要自己调试一遍。才能体会神经网络的神奇。先直观感受下神经网络的训练过程，可以打开如下网址看动态过程。准备工作：1、第一个人工神经网络实现目标：识别数字，让计算机学会识别如下数字2、数据集：https://pjreddie.com/projects/mnist-in-csv/需要下载tra
转载
2023-07-20 20:22:12
68阅读
1.卷积神经网络 在cv方向使用广泛 2.循环神经网络 处理不定长数据，即输入长度不一样，例如文本 因此在NLP方面使用广泛 过拟合：说白了就是矫枉过正 神经元是组成神经网络的最小结构 激活函数主要完成一个转换，要不然就不思考它为啥叫激活了，可能就是激活模型那意思，说白了它就是个函数，函数就是映射，在神经元中，一旦确定下来一个激活函数，也就确定下来了一个模型。 多个神经元就可以完成多分类模型 多输
转载
2023-11-21 11:29:31
9阅读
相关工作(TSDF-Fusion, DI-Fusion)首先介绍一下这个TSDF-Fusion，这个是一种非常经典的显示表达，最早于1996年提出。它是在每一个voxtel里面都会存TSDF值，也可以存颜色值。存储的是在一个很密集的一个个网格中，其保存的几何清晰程度与网格的分辨率相关。如果我们想得到一个比较好的结果，即不在TSDF这一步出现精度损失的话，那么则需要一般512左右的分辨率，也就是说要
转载
2023-11-16 19:46:59
45阅读
前方 本文中如有错误请指正。背景 工作中总会遇到各种各样的问题，虽然现在操作txt文件较多，但是总少不了要读写csv，感觉总是把csv文件转成txt多少会有一些不便，因此打算学习一下读写csv的操作，并写出来作为日后的复习笔记。 所谓CSV（逗号分隔值）格式是电子表格和数据库最常用的导入和导出格式。csv模块实现了以CSV格式读取和写入表格数据的类。csv模块reader和wr
转载
2023-11-24 20:31:47
74阅读
Dropout是作为缓解卷积神经网络CNN过拟合而被提出的一种正则化方法，它确实能够有效缓解过拟合现象的发生，但是Dropout带来的缺点就是可能会减缓模型收敛的速度，因为每次迭代只有一部分参数更新，可能导致梯度下降变慢。1、 Dropout原理 &nb
转载
2023-11-27 11:23:54
144阅读
消息传递神经网络一、引言二、消息传递范式介绍三、消息传递的实现（pyG）1、MessagePassing基类2、继承MessagePassing实现GCNConv 一、引言为节点生成节点表征是图计算任务成功的关键，神经网络的生成节点表征的操作叫做节点嵌入（node embeddi ng）二、消息传递范式介绍基于消息传递范式的生成节点表征的过程： 我们从左往右来看此图。图的左边是我们输入的整张图（
转载
2024-03-04 01:39:14
40阅读
这里我们通过网络上比较流行的mnist进行简单的卷积神经网络的搭建，其中卷积神经网络与神经网络的区别就是卷积神经网络中包含了对数据的卷积和池化，但是这一块的代码都是pytorch给我们写好的，我们只需要调用就可以。其中简单的介绍一下mnist：主要的功能就是识别人们写的数字，然后输出预测的结果大量的数据，在程序中都通过网上进行了下载，注意输入的数据是1*28*28的格式，其中1表示通道（表示黑白图
转载
2024-03-11 16:30:32
66阅读
在上一篇神经网络代码实现流程中，加载数据返回了三组数据：训练集，测试集，验证集．加载数据后，需要对神经网络代码的类进行实例化。 以下讲解，神经网络代码类的实现： 在类中，首先，在Network类的构造函数中，由实例化时传入的参数定义了神经网络的层数，每层的神经元个数，并利用随机函数对每层的神经元权重以及偏置进行初始化。def __init__(self, sizes):
sel
转载
2023-12-17 07:31:08
46阅读
名词解释：Epoch（时期）：当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次>epoch。（也就是说，所有训练样本在神经网络中都 进行了一次正向传播 和一次反向传播 ） 再通俗一点，一个Epoch就是将所有训练样本训练一次的过程。 然而，当一个Epoch的样本（也就是所有的训练样本）数量可能太过庞大（对于计算机而言），就需要把它分成多个小块，也就是就是分成多个Batch
转载
2024-04-09 22:39:38
66阅读
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录前言一、初始化参数1.1 初始化为01.2 初始化为随机数1.3 抑梯度异常初始化二、正则化2.1 不使用正则化2.2 L2正则化2.3 dropout正则化2.4 其他正则化2.4.1 正则化数据集 2.4.1 early stopping三、梯度检验前言 前面实验三
转载
2023-09-04 17:40:25
178阅读
神经网络模型种类
一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性
SOM 介绍SOM (Self Organizing Maps):自组织映射神经网络，是一种类似于kmeans``的聚类算法，用于寻找数据的聚类中心。它可以将相互关系复杂非线性的高纬数据，映射到具有简单几何结构及相互关系的低纬空间。（低纬映射能够反映高纬特征之间的拓扑结构）自组织映射(Self-organizing map, SOM)通过学习输入空间中的数据，生成一个低维、离散的映射(Map)，从
转载
2023-07-27 21:45:01
0阅读
线性神经网络前言：该大章分为7小章节， 本章我们将介绍神经网络的整个训练过程 :如下图顺序所示：
定义简单的神经网络架构
数据处理
指定损失函数
如何训练模型
1. linear-regression(线性回归)NOTE:
转载
2023-07-24 20:45:32
147阅读
神经网络中的梯度爆炸一、什么事梯度爆炸？“梯度爆炸指神经网络训练过程中大的误差梯度不断累积，导致模型权重出现重大更新。会造成模型不稳定，无法利用训练数据学习” 误差梯度是神经网络训练过程中计算的方向和数量，用于以正确的方向和合适的量更新网络权重。 在深层网络或循环神经网络中，误差梯度可在更新中累积，变成非常大的梯度，然后导致网络权重的大幅更新，并因此使网络变得不稳定。在极端情况下，权重的值变得非常
转载
2023-09-16 22:17:00
75阅读
复杂网络建模的反问题是网络重构，获得节点之间的关系对于分析网络特性有着至关重要的作用。常用的网络重构方法有：1 相关性分析，2 压缩感知，3 动力学方程，4 因果分析，5 深度学习，6 概率图模型，7 微分方程。本文主要分析因果关系，格兰杰因果(granger casuality)是因果分析的常用方法。具体定义为：对于两个时间序列(一般为向量自回归时间序列(VAR))X,Y如果加入Y能够使得预测X
转载
2023-12-14 20:36:15
87阅读
之前刚开始学神经网络的时候的一些笔记。最近发现一个综述性论文不错： 《Recent Advances in Convolutional Neural Networks》梯度下降：导出的梯度方向是函数值增大的方向，因此最小值应该减去梯度，也就是向梯度的反方向走 （1）批量梯度下降BGD 全部m个样本总体的平均来更新参数。训练慢，但参数容易得到最优。样本数据集小的时候用 （2）随机梯度下降SGD m个
转载
2023-10-29 09:06:35
65阅读
最近几天在研究BP神经网络网时，发现网上对它的介绍很多，但是在编程实现的时候，总感觉很多介绍BP的公式的时候没有介绍清楚，参考了不少博客还是感觉模棱两可，最后参考了周志华老师的《机器学习》这本书，再结合之前在网上看到的，自己用python实现了一个标准的BP网络。在这里记录一下学习过程。1，BP神经网络
转载
2023-06-20 02:35:56
122阅读
