神经网络Neural Networks 文章目录神经网络Neural Networksbasic key感知机与多层网络感知机多层网络误差逆传播算法(反向传播算法)隐层神经元个数的确定缓解过拟合早停early stopping正则化regularization全局最小与全局极小局部极小local minimum全局最小global minimum跳出局部极小的策略跳出局部极小的策略：其他常见的神经
转载
2023-09-20 15:55:42
92阅读
深度神经网络前面的章节介绍了反向传播算法和一些常见的改进神经网络的训练效果的方法。前面还只是停留在只有一个隐藏层的神经网络。 如上图所示，这样的一个神经网络就只有输入、输出层和一个隐藏层。在手写字体识别例子中，这样一个简单的神经网络能够达到98%的正确率！可以预料到，如果增加隐藏层的层数，那么神经网络的学习能力将更加强，可以学习到更加抽象的概念。 如上所示为一包含三个隐藏层的神经网络，假如第一层
转载
2024-01-12 14:14:03
46阅读
上一章，我们介绍了神经网络容易出现的过拟合问题，并学习了最常用的正则化方法，以及其他一些技巧，今天，我们将介绍本章节最后两个问题：权重初始化和超参数的选择权重初始化到目前为止，我们都是用归一化高斯分布来初始化权值，但是，我们很想知道是否有其他初始化方法可以让网络训练得更好。事实上，确实存在比高斯分布更好的方法。不过，我们需要先了解高斯分布的初始化会存在哪些缺陷。假设我们有如下的网络结构，其中包含
转载
2024-01-03 19:37:54
43阅读
大约三天读完，这本书浅显易懂，非常适合入门，只有权重调整值的推导过程看得不是很透彻。基本概念神经网络也是机器学习的一种实现，可以应用在有监督学习和无监督学习，因为中间可以有较多层，所以属于深度学习方法。神经网络的名字很唬人，其实概念挺朴素的，是由含一个输入层一个输出层和若干隐藏层构成的有向无环图（这名字也唬人），看图像一目了然，为啥叫隐藏层呢，就是因为和输入输出没关系，看不见，有点儿神秘。每层的每
转载
2023-11-27 06:19:29
58阅读
解析卷积神经网络——基础理论篇*南京大学计算机系机器学习与数据挖掘所（LAMDA）在读博士魏秀参开放了一份较系统完整的 CNN 入门材料《解析卷积神经网络——深度学习实践手册》。这是一本面向中文读者轻量级、偏实用的深度学习工具书，内容侧重深度卷积神经网络的基础知识和实践应用。本书的受众为对卷积神经网络和深度学习感兴趣的入门者，以及没有机器学习背景但希望能快速掌握该方面知识并将其应用于实际问题的各行
转载
2023-11-27 21:45:44
79阅读
5.1神经元模型神经网络的研究由来已久，关于其研究历史我将在本篇末进行介绍。关于神经网络的定义，西瓜书采用的是：“神经网络是由具有适应性的简单单元组成的广泛并行互联的网络, 它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应”。我们在机器学习谈论神经网络时通常指的是“神经网络学习”，或者说是机器学习与神经网络这两个学科领域交叉部分。神经元模型即定义中提及的简单单元，是神经网络的基本组成。在
转载
2023-05-29 13:36:16
161阅读
下面我将介绍内嵌物理知识神经网络（PINN）求解微分方程。首先介绍PINN基本方法，并基于Pytorch的PINN求解框架实现求解含时间项的一维burger方程逆问题。内嵌物理知识神经网络（PINN）入门及相关论文深度学习求解微分方程系列一：PINN求解框架（Poisson 1d）深度学习求解微分方程系列二：PINN求解burger方程正问题深度学习求解微分方程系列三：PINN求解burger方程
转载
2023-08-10 02:26:42
893阅读
第5章 卷积神经网络卷积神经网络（Convolutional Neural Network，CNN）是受生物学上感受野机制的启发而提出的。目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，有三个结构上的特性：局部连接、权重共享以及汇聚。这些特性使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性。和前馈神经网络相比，卷积神经网络的参数更少。卷积神经网络主要应用在图像和
转载
2023-09-06 16:25:57
42阅读
Python快速构建神经网络一、前言机器学习一直是Python的一大热门方向，其中由神经网络算法衍生出来的深度学习在很多方面大放光彩。那神经网络到底是个个什么东西呢？说到神经网络很容易让人们联想到生物学中的神经网络，而且很多时候也会把机器学习的神经网络和生物神经网络联系起来。但是其实人类至今都没有完全理解生物神经网络的运作，更不要谈用计算机实现生物神经网络了。相比之下，机器学习中的神经网络更像是一
转载
2023-08-25 22:48:01
89阅读
网络上深度学习相关博客教程质量参差不齐，很多细节很少有文章提到，所以本着夯实深度学习基础的想法写下此系列博文。本文会从神经网络的概述、不同框架的公式推导和对应的基于numpy的Python代码实现等方面进行干货的讲解。如有不懂之处欢迎在评论留言，本人也初学机器学习与深度学习不久，有不足之处也请欢迎我联系。：）神经网络神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经
转载
2024-01-15 13:48:00
46阅读
在深度学习中，有一个很重要的概念，就是卷积神经网络（CNN），是入门深度学习需要搞懂的东西。过拟合（Overfitting）：即在当前的样本上表现的非常好，但在测试的数据集上表现就非常糟糕。1 卷积网络 也叫卷积神经网络（convolutional neural network,CNN）,
转载
2023-08-26 17:00:19
0阅读
1. 神经网络基础概念1.1 什么是神经网络神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。1.2 三类神经网络一般来说，神经网络分三类：前馈神经网络、循环网络、对称连接网络。前馈神经网络： 这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输
转载
2024-01-14 19:50:42
36阅读
一.卷积1.二维卷积在信号处理中，二维卷积的定义如下：
为给定图像，
为滤波器。
2.互相关机器学习中，卷积其实是不翻转的二维卷积，定义为下：
被称作卷积核。
3.卷积神经网络中的卷积卷积神经网络中，定义图像
和卷积核
的卷积过程如下：
二.卷积神经网络
转载
2023-08-10 16:37:01
82阅读
神经网络能够解决许多复杂的问题，而其中最典型的两类问题就是回归问题和分类问题。本文就来简单介绍一下究竟什么是回归问题。所谓回归问题，就是一种需要来拟合的问题，例如我们有一个待拟合的散点图，如图7.12所示，我们要解决的问题就是获得一条线来尽可能的穿过最多的点。图7.12 待拟合散点图示例传统方法中，我们可以考虑采用一次函数、二次函数等来拟合这些点，拟合的结果可能如图7.13所示，显然如
转载
2024-01-20 06:25:02
43阅读
BP神经网络的代表者是D.Rumelhart和J.McCelland，"反向传播(backpropagation)"一词的使用出现在1985年后，它的广泛使用是在1986年D.Rumelhart和J.McCelland所著的Parallel Distributed Processing这本书出版以后。BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络
转载
2023-07-05 21:39:06
109阅读
前言本例程实现了一个最简的，支持自定义层数和每一层神经元个数的 全连接前馈神经网络。其实，它就是一般教课书里面入门的一种人工神经网络。本例程具有以下自特点：实现了反向传播（BP）算法实现了随机梯度下降（SGD）算法全部神经元使用sigmoid激活函数经过实验，我发现，在没有任何优化的网络结构上（本例的结构）不适合使用类似relu的激活函数，因为它对输入的数据范围不加限制，会造成优化过程中出现 Na
转载
2023-07-18 15:12:32
67阅读
局部连接、权值共享、多核卷积、池化四个手段大大降低了参数的数目，使得网络的层数可以变得更深，并且能够合理的隐式的提取特征。CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于其特征检测层通过训练数据进行学习，隐式地从训练数据中进行学习，避免了显式的特征抽取；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其
转载
2023-10-16 13:19:02
76阅读
参考资料： 开源内容：https://github.com/TommyZihao/zihao_course/tree/main/CS224W 图无处不在图是描述关联数据的通用语言将很多独立同分布的事物，用他们之间的关系连接起来，就形成了图 例如：计算机网络 疾病传播链 食物链 地铁网 化学分子式等等现代深度学习方法是专门用于像下图所示：表格、序列等等这类（处理图片、文本、音频等），还没有
转载
2023-12-11 21:49:42
44阅读
七、激活函数的使用 通过之前的学习我们都了解到了激活函数的作用，现在我们将会讲解一下激活函数在不同的神经网络中的应用： 1、首先是sigmoid 函数： a=11+e−z 它的图像可以表示为： 但是这个激活函数多使用在二分分类输出的神经网络，因为需要寻找1和0值，所以在一般的神经网络中我们很少使用这个激活函数。对应的导数为： g′(z)=a(1−a) 这为后面的计算节省了很多时间。 2
转载
2024-01-10 20:01:43
186阅读
文章目录前言一、简介二、BP神经网络的网络流程1.结构2.流程3.实例4.优缺点总结 前言BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一。一、简介BP神经网络是一种多层的前馈神经网络，其主要的特点是：是前向传播的，而误差是反向传播的。
转载
2023-08-14 19:34:27
212阅读
