算法介绍概念人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经神经系统对真实世界物体所作出的交互反应。在实际应用中，80%-90%的人工神经网络模型是采用误差反转算法或其变形形式的网络模型。 一个神经网络的典型结构：作用1.拟合 ->预测。 2.分离 -> 聚类分析。神经网络模型和网络结构1.神经元 大脑可视作为1000多亿神经元组成的神经网络。 下
转载
2023-10-20 17:31:12
101阅读
引入回忆一下高中生物中学到的知识：当一个神经元受到足够强的刺激的时候，就会被激活向下一个神经元释放递质，然后激活下一个神经元，以此类推，最终将信号传导到需要的地方。 那么我们的神经网络也是由此而来建模而来，我们需要着重需要定义的一些量就是：怎么样才算足够强的刺激如何表示被激活如何向下一个神经元传递信息神经元一般神经网络都会非常大，所以神经元定义要尽量的简单。一般用一个线性组合+激活函数来表示。 线
转载
2023-11-09 14:23:32
80阅读
文章目录常见的‘融合’操作具有多个输入和输出的模型ResNet 模型 常见的‘融合’操作复杂神经网络模型的实现离不开"融合"操作。常见融合操作如下：（1）求和，求差# 求和
layers.Add(inputs)
# 求差
layers.Subtract(inputs)inputs: 一个输入张量的列表（列表大小至少为 2）,列表的shape必须一样才能进行求和(求差)操作。例子：input1 =
转载
2023-10-15 16:17:41
198阅读
此前备受大家关注的加法神经网络（AdderNet，ANN）已被CVPR 2020接受，并录用为Oral（接受率约6%）。在这篇工作中，来自北大、华为、悉尼大学的研究员们提出了一种全新的加法神经网络，在ImageNet上使用ResNet-50达到了74.9% 的Top-1准确率和 91.7% 的Top-5的准确率，现已开源。论文链接： AdderNet: Do We Really N
转载
2023-10-31 21:23:47
44阅读
HAWQ：基于 Hessian 的混合精度神经网络量化摘要动机方法海森方法的有效性分析海森矩阵方法推导根据幂迭代求海森矩阵的最大特征值根据海森矩阵最大特征值确定量化精度与顺序实验结果ResNet20 On CIFAR-10ResNet50 on ImageNetSqueezeNext on ImageNetInception-V3 on ImageNet消融实验海森混合精度量化的有效性Block
转载
2024-01-06 20:25:18
67阅读
【翻译自 ： Neural Network Models for Combined Classification and Regression】 【说明：Jason Brownlee PhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录
转载
2023-10-23 22:47:47
161阅读
文章目录1 论文内容1.1 先验知识1.2 论文方法1.2.1 大致原理1.2.2 源码关键实现1.3 实际问题上的应用1.3.1 风险分散1.3.2 Interval Scheduling（不大懂译，区间调度？）1.3.3 配水管网的传感器布置2 论文求解器源码的使用2.1 安装依赖库2.1.1 法1:使用requirements.txt2.1.2 法2:单独安装缺少的依赖库2.2 运行示例代
论文题目：Graph Attention Networks论文地址：https://arxiv.org/pdf/1710.10903.pdf论文代码：https://github.com/PetarV-/GAT论文引用：Veličković, Petar, et al. “Graph attention networks.” arXiv preprint arXiv:1710.10903 (201
转载
2023-08-28 13:32:49
431阅读
Preview (Chapter 5):前馈神经网络网络训练误差反向传播神经网络正则化混合密度神经网络贝叶斯神经网络神经网络为了减少基函数数量问题，从而以非凸计算为代价。为了计算神经网络的参数，一些非线性最优化技术需要求参数的导数，从而可以利用反向误差传播算法。1 前馈神经网络回归的线性模型和分类模型，基于固定非线性基函数的线性组合，形式为：在分类问题中是非线性激活函数，回归问题中为恒
转载
2023-12-13 17:01:31
50阅读
神经网络优化优化目标：学会神经网络优化过程，使用正则化减少过拟合，使用优化器更新网络参数设计知识点：神经网络复杂度，指数衰减学习率，激活函数，损失函数，欠拟合与过拟合，正则化减少过拟合，优化器更新网络参数一：tensorflow函数补存针对上一篇博客的tesorflow，增加一些函数。条件语句tf.where(条件语句，真返回A，假返回B)条件语句真返回A，条件语句假返回其中，greater()函
转载
2023-09-24 17:22:14
122阅读
Task5 概览图神经网络已经成功地应用于许多节点或边的预测任务，然而，在超大图上进行图神经网络的训练仍然具有挑战。普通的基于SGD的图神经网络的训练方法存在算力、内存、精度等各方面的问题。本次任务将首先分析传统方法处理超大图存在的问题；接着介绍一种新的图神经网络的训练方法——Cluster-GCN，用于解决超大图的训练问题；最后使用代码来实现Cluster-GCN算法。一、处理超大图存在的问题及
转载
2024-01-12 08:27:08
143阅读
GNN：graph neural network 图神经网络 由于 GNN 在图节点之间强大的建模功能，使得与图分析相关的研究领域取得了突破。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。1.应用领域由于其较好的性能和可解释性，现已被广泛应用到各个领域。涵盖了推荐系统、组合优化、计算机视觉、物理 / 化学以及药物发现等领域。推荐系统：图结构数据是来自用户与电子商务平台上产品交互的上下
转载
2023-09-27 19:53:12
97阅读
自组织神经网络：Kohonen网络训练算法 Kohonen网络的拓扑结构 网络上层为输出结点（假设为m个），按二维形式排成一个结点矩阵。 输入结点处于下方，若输入向量由n个元素，则输入端共有n个结点。 所有输入结点到输出结点都有权值连接，而在二维平面的输出结点相互间也可能有局部连接。
转载
2023-11-23 23:01:14
36阅读
多层神经网络神经网络中的层数，是以隐含层的数目而言的，一般不会去统计输入层与输出层；本文采用的是简单的全连接层，所谓全连接，就是上一层的每一个节点到要与下一层的每一个节点一一相连。作为案例，将进行最基本的多层网络构建，并实现mnist数据及分类。全连接层构造函数# 定义全连接层构造函数
def fcn_layer(inputs, # 输入的数据
input_dim,
转载
2024-02-04 16:45:02
78阅读
神经元模型用数学公式表示为，其中f为激活函数，模型示意图如下激活函数引入非线性激活因素，提高模型的表达力，常用的激活函数有relu、sigmoid、tanh其它概念神经网络的复杂度：可用神经网络的层数和神经网络中待优化参数个数表示；神经网路的层数：一般不计输入层，层数=n个隐藏层+1个输出层；神经网路待优化的参数：神经网络中所有参数w的个数+所有参数b的个数；损失函数的优化用来表示预测值（y）与已
转载
2023-09-21 10:18:05
96阅读
笔者在阅读论文的过程中，发现论文中经常会涉及到一些经典的神经网络结构，尽管这些结构可能出现的时间，但是生生不息，经历住了时间的考验。在这个系列文章中，我将对那些经典的网络分别做一个简单介绍。 作为这个系列文章的第一篇文章，本文首先要介绍的是 Group convolution这个结构。Group Convolution简介Group Convolution，即分组卷积（也被译为群卷积），是由Ale
转载
2024-02-04 08:00:32
54阅读
本文重点介绍，基于神经网络，建立学生成绩预测模型。1.神经网络多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图：对一些标记进行定义：表示，第层，第个神经元；表示对每个维度输出的偏置；为神经网络输出表示激活函数1.1 输
转载
2023-10-18 18:20:57
269阅读
关于神经网络，蚁群算法和遗传算法神经网络并行性和自适应性很强，应用领域很广，在任何非线性问题中都可以应用，如控制、信息、预测等各领域都能应用。蚁群算法最开始应用于TSP问题，获得了成功，后来又广泛应用于各类组合优化问题。但是该算法理论基础较薄弱，算法收敛性都没有得到证明，很多参数的设定也仅靠经验，实际效果也一般，使用中也常常早熟。遗传算法是比较成熟的算法，它的全局寻优能力很强，能够很快地趋近较优解
转载
2023-08-21 22:43:14
82阅读
简介1、在上一篇文章中已经介绍需具备的基本知识以及工具如何安装，不明白的小伙伴可以去我博客主页查看，在这里就不过多叙述2、基本知识一定要去了解，深入理解代码底层的原理一、导入相关包1、tensorflow包作用：引入神经网络2、matplotlib.pyplot包作用：绘图3、numpy包作用：矩阵的相关运算代码如下：#首先导入tensorflow包、numpy包、matplotlib包
impo
转载
2023-10-18 17:02:01
29阅读
目录 一、numpy实现二、pytorch实现1、手动求导2、自动求导三、torch.nn+torch.optim实现实现1、torch.nn实现自动求导2、optim选择并执行各种优化方法3、继承torch.nn.Module类封装模型四、模型优化效果差原因一、numpy实现用numpy写两层神经网络：一个全连接层，一个relu激活函数，没有bias，用x预测y，使用L2 Loss。意
转载
2024-01-17 10:47:13
134阅读
