➤01 第八题参考答案1.题目分析(1) 训练样本根据题目中的两类样本点在坐标系的位置，可以获得训练样本输入数据矩阵x_train；和类别矩阵：y_train。x_train= [[-3. 0.]
[-2. 1.]
[-2. -1.]
[ 0. 2.]
[ 0. 1.]
[ 0. -1.]
[ 0. -2.]
[ 2. 1.]
[ 3. -1.]
[ 3. 0.]]
转载
2023-11-04 07:26:28
151阅读
神经网络求解二阶常微分方程最近课题组老师给出一篇文献，文件原文如链接一所示。需要让我使用深度神经网络求解偏微分方程。在相关调研过程中，CSDN上作者Trytobenice分享过相关的程序源码。基于相关程序源码，我将他的一阶常微分方程求解扩充到二阶常微分方程求解。并且按照此方法可以求解高阶常微分方程。理论分析对于任意一个微分方程，我们都可以用这个方程表示出 求解目的就是找出这样的一个方程：ψ(x)，
转载
2024-01-22 17:11:24
59阅读
两种新的方法使用深度神经网络求解一整类（entire family）偏微分方程，它们使得复杂系统建模更加容易，并且快了几个数量级。众所周知，偏微分方程PDE，例如控制流体运动行为的方程，很难求解。神经网络也许可以解决。在高中物理中，我们通过作用在一个具有一定质量的物体上的外力（比如说，重力）这样简单的例子学习牛顿第二运动定律，即作用力等于质量乘以加速度。在时间是唯一自变量的理想情况下，第二定律实际
转载
2023-08-08 14:26:32
402阅读
连 续 Hopfield 神 经 网 络（continuous hopfield neural network, CHNN）解决组合优化问题是神经网络应用的重要方面，在实际应用中将优化问题的 目标函数转换为连续 Hopfield 神经网络的能量函 数，优化变量对应于网络中神经元的状态，当神经
转载
2023-12-26 10:56:25
141阅读
神经网络-逻辑回归目录 神经网络-逻辑回归目录逻辑回归概念tips梯度下降绘制计算分析图方法逻辑回归中的梯度下降简单的算法描述矢量化tipsnumpy广播机制引起的隐形 bug 以及解决回顾深度学习训练步走 逻辑回归概念定义： LossFun: costFun: tips这里不用普通 L1Loss 的原因：使用 L1loss 会使得 GD无法找到全局最优解(因为不是凸函数)costFun
转载
2023-10-08 19:17:24
98阅读
Pytorch神经网络工具箱神经网络核心组件层：神经网络的基本结构，将输入张量转换为输出张量。模型：层构成的网络。损失函数：参数学习的目标函数，通过最小化损失函数来学习各种参数。优化器：如何使损失函数最小，这就涉及优化器。多个层链接在一起构成一个模型或网络，输入数据通过这个模型转换为预测值，然后 损失函数把预测值与真实值进行比较，得到损失值（损失值可以是距离、概率值等），该 损失值用于衡量预测值与
转载
2023-10-18 20:02:20
51阅读
学习使用hopfield神经网络解决TSP问题（毕业设计Day01）本篇文章主要是学习 <Hopfield神经网络在TSP问题中的应用_兰兆青>这篇文章，如有侵权，请联系删除。 （这系列文章主要是为了帮助自己理清思路，更好的了解神经网络，最终完成毕业设计，其中绝大部分内容都是引用兰兆青先生的文章）了解TSP 问题TSP问题的原始定义是有一个推销员要到n个城市推销商品,他要找出一个包含所
转载
2023-08-04 20:50:35
414阅读
对机器学习深度学习已经神往已久，奈何数学太差，一直搞不懂原理，虽然研一学了大量相关课程，甚至都做了相关的实验和比赛，但其实自己知道对其的了解的掌握几近于无，这不单单是直接拿来现成的网络去应用上，也不是去改改参数，解决了某个问题就能够说自己掌握的。隔了一段时间零零散散的了解之后也要正式开始系统的学习了。故而记录下自己比较认可的文章，仅仅是我看过的觉得入门不错的文章，涵盖面极窄，但一定比较不错。 嗯首
转载
2024-01-06 20:20:17
89阅读
介绍一些神经网络中常用的优化方法。包括动态学习率、正则化防止过拟合、滑动平均模型。 优化方法学习率的设置TensorFlow提供了一种学习率设置方法——指数衰减法。全部方法见Decaying_the_learning_ratetf.train.exponential_decay函数先使用较大的学习率来快速得到较优解，然后随着训练步数的增多，学习率逐步降低，最后进行微调。该函数的官网介绍：expon
转载
2023-11-25 14:00:17
59阅读
二、神经网络注：整理自《TensorFlow 深度学习》(龙龙老师)一书，侵删神经网络组成神经元模型如上图，X为输入的向量，W为超参数向量，b为偏置项。输出的计算公式如下： 多个神经元，可以构成神经网络，如下图：中间部分称为隐藏层，神经网络层数在计算的时候只计算隐藏层及输出层。神经网络的实现对于上述的神经网络有两种方式实现：张量方式# 隐藏层 1 张量
w1 = tf.Variable(tf.ra
转载
2023-11-13 20:22:11
86阅读
通过使用Numpy来创建神经网络，让我意识到有哪些因素影响着神经网络的性能。架构、超参数值、参数初始化，仅是其中的一部分，而这次我们将致力于对学习过程的速度有巨大影响的决策，以及所获得的预测的准确性—对优化策略的选择。我们会研究很多流行的优化器，研究它们的工作原理，并进行对比。你在GitHub上可以找到所有代码：机器学习算法的优化优化是搜索用于最小化或最大化函数参数的过程。当我们训练机器学习模型的
转载
2023-12-15 18:59:21
22阅读
深度学习的核心问题就是一个非常难的优化问题。所以在神经网络引入后的几十年间，深度神经网络的优化问题的困难性是阻碍它们成为主流的一个重要因素。并导致了它们在20世纪90年代到21世纪初期间的衰落。不过现在已经基本解决了这个问题。在本篇博文中，我会探讨优化神经网络的“困难性”，以及理论上是怎么解释这个问题的。简而言之：神经网络变得越深，优化问题就会变得越难。最简单的神经网络是单节点感知
转载
2023-12-29 19:15:54
59阅读
Google Research的TabNet于2019年发布，在预印稿中被宣称优于表格数据的现有方法。 它是如何工作的，又如何可以尝试呢？表格数据可能构成当今大多数业务数据。 考虑诸如零售交易，点击流数据，工厂中的温度和压力传感器，银行使用的KYC (Know Your Customer) 信息或制药公司使用的模型生物的基因表达数据之类的事情。论文称为TabNet: Attentive Inter
转载
2023-11-30 15:24:16
113阅读
摘 要:事件预测需要综合考虑的要素众多,现有预测模型多数存在数据稀疏、事件的组合特征及时序特征考虑不足、预测类型单一等问题。为此,提出了基于关系图卷积神经网络的多标签事件预测方法,通过节点特征聚合技术实现数据的稠密化表示。模型利用卷积神经网络的卷积和池化运算提取预测数据的组合时间段特征信息,并结合长短期记忆网络的时序特征提取能力,进一步提取预测数据的时序规律特征;最后,模型通过全连接的多标签分类器
转载
2023-11-01 22:29:17
21阅读
笔记总结自《神经网络与深度学习》第7章-网络优化与正则化1. 高纬空间的非凸优化在高纬空间中，大部分的局部最优点都是鞍点。因此，在深度网络的非凸优化问题的难点是如何逃离鞍点。通过引入随机因素，能够解决梯度下降方法在鞍点附近梯度为0的问题，从而有效地逃离鞍点。2. 改善神经网络计算的优化方法2.1 小批量（Mini-batch ）梯度下降初衷：通常深度神经网络使用的数据量都非常大，不适合一次性加载所
转载
2023-09-02 11:08:30
118阅读
连续Hopfield网络解TSP问题上篇讲的是离散型Hopfield网络用于联想记忆，这篇接上篇讲利用连续型Hopfield网络解TSP问题。模型连续型Hopfield网络与离散型Hopfield网络结构是一致的，唯一区别就是节点取值连续和在时间上也连续。连续型的Hopfield网络一般用一个电路图来研究：这里感谢周启航同学对我在电路方面的指导，才让我看懂了他认为很简单的这么个图。这是一组放大器电
转载
2023-06-25 16:55:00
666阅读
'''
连续型——Hopfield神经网络求解TSP
1、初始化权值（A,D,U0）
2、计算N个城市的距离矩阵dxy
3、初始化神经网络的输入电压Uxi和输出电压Vxi
4、利用动力微分方程计算：dUxi/dt
5、由一阶欧拉方法更新计算：Uxi(t+1) = Uxi(t) + dUxi/dt * step
6、由非线性函数sigmoid更新计算：Vxi(t) = 0.5 * (1 + th(U
转载
2023-08-12 21:40:25
145阅读
前言 在完成了函数拟合之后，现在考虑常微分方程：给定一个常微分方程，让你求得这个微分方程的近似解（在给定的初值条件下）。以前都是用数学的知识来解决（这让我想起了大一在立人楼上常微分的夜晚），现在有了神经网络，我们用深度学习的方法来解决它试一试。 本次选
转载
2023-09-05 11:56:30
202阅读
本文内容：1、学习神经微分方程的笔记，主要锻炼自己学习新知识的能力和看有很多数学原理的论文能力；2、神经微分方程可以用于时序数据建模、动力学建模等，但是本文专注于分类问题-resnet变体<比较容易理解>； 个人理解:联合灵敏度的代码实现比较复杂，代码逻辑和算法步骤是一样的，对照看就很容易明白，其实本质上就是把梯度计算归结为求解微分的问题：工程上实现OdeintAdjointMetho
转载
2024-01-20 21:56:42
232阅读
对于函数的求解大多分为以下几种途径： 确定性求解：通过对数据的规律进行建模直接求解，如特征方程等。 确定性近似求解：通过变分推断的相关方法进行求解，如EM，变分自编码。 随机性近似求解： 通过采样的方法对函数进行求解，蒙特卡洛方法。非结构化求解：DEEP LEARNING.之所以是非结构化，即是深度神经网络能通过众多的简单线性变换层次性的进行非线性变换对于数据中的复杂关系能够很好的进行拟合，即对数
转载
2024-01-18 19:48:35
67阅读
