神经网络神经网络可以使用 torch.nn包来构建。已经简单学习过了 autograd, nn是依赖 autograd去定义模型以及对其求导。一个nn.Module包含层(layers)，和一个方法forward(input)(方法返回output)。例如，来看一下这个用来分类数字图像的网络：这是一个简单的前馈网络。它接受输入，一个接一个地通过几个层为其提供数据，最后给出输出。一个典型的神经网络训
转载
2023-12-13 20:39:49
247阅读
0. 引言在实际使用中，我们通常希望有一个预训练模型帮助加速训练，如果使用原生的模型，直接使用加载即可。但我们经常会根据不同的任务要求进行backbone的修改，此时直接加载预训练模型就会出错。因此为了解决该问题，下面引入如何加载部分模型的权重（修改的部分不需要加载）。1. 分类网络最后一层一般PyTorch官方实现的网络中，训练集使用的ImageNet数据集，所以分类数（1000）与我们的任务分
转载
2023-12-25 22:28:41
285阅读
卷积神经网络CNN---权值共享 - 百度文库feature map 和神经元的关系1、神经网络模型的过程先有输入层，正向传播，经过隐层， 第一次权重随机的，得到一个输出loss，拟和的不好，再经过反向传播，求出导数，梯度值，计算每个权重对结果的影响大小，在对权重进行改变，直到loss变小，拟合好。2、任务1> 分类 classficati
转载
2023-11-22 08:48:40
51阅读
神经网络的有监督学习，实现权值更新一般有三种典型方案。随机梯度下降法(SGD): 计算每个训练数据的误差，并立即调整权重。如果我们有 100 个训练数据点，SGD 将调整权重100 次。在批处理方法中，针对训练数据的所有误差，计算每个权重更新，并且使用权重更新的 平均值 来调整权重。该方法使用所有的训练数据，只执行一次更新操作。小批量处理：从 100 个训练数据中挑选出 20 个随机的数据，小批量
转载
2023-10-25 14:05:41
272阅读
重加权，也称为代价敏感学习，通过调整训练期间不同类别的损失值来对类别进行重新平衡，近期的研究提出了各种代价敏感学习方法来处理类别不平衡问题，包括类别级重加权和类别级re-margining，大家熟知的Focal loss、动态权重等都属于重加权方法。2. 类别级重加权2.1 Weighted Softmax Loss最直觉的方法是直接使用训练样本的标签频率对损失进行重新加权，即加权so
转载
2024-07-10 19:10:50
127阅读
神经网络神经网络可以通过 torch.nn 包来构建。一个 nn.Module 包括层和一个方法 forward(input) 它会返回输出(output)。例如，看一下数字图片识别的网络： 典型的神经网络训练过程包括以下几点：1.定义一个包含可训练参数的神经网络2.迭代整个输入3.通过神经网络处理输入4.计算损失(loss)5.反向传播梯度到神经网络的参数6.更新网络的参数，典型的用一个简单的更
转载
2023-09-30 09:45:48
167阅读
例如LSTM第一个单元权重矩阵正交化，预训教词向量，还有各种权重矩阵初始化的技巧。 想问的就是反正最后都得拟合了，初始化的意义何在？为了更快收敛还是对效…显示全部 也说说我的看法，神经网络要优化一个非常复杂的非线性模型，而且基本没有全局最优解，初始化在其中扮演着非常重要的作用，尤其在没有BN等技术的早期，它直接影响模型能否收敛。下面从几个方向来说，参考龙鹏：【AI初识境】什
转载
2023-10-08 06:50:35
165阅读
PyTorch学习笔记（2） 文章目录PyTorch学习笔记（2）PyTorch搭建基本两层神经网络1. 使用numpy方式构建两层神经网络2. 使用Tensor方式构建两层神经网络3. 使用autograd确定向前和向后传播4. 定义新的autograd函数5. 使用nn模块构建网络模型6. 使用optim简化优化方式选择7. 典型nn模块方式构建神经网络模型8. 控制流和权重分享 PyTor
转载
2023-12-25 10:48:04
135阅读
学习率、权重衰减、动量被称为超参数，因为他们不是由网络训练而得到的参数权重衰减代表原始的代价函数，后面那一项就是正则化项，λ就是权重衰减项作用：防止过拟合过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以
转载
2023-08-23 21:09:43
158阅读
attention
1.在模型举例在机器翻译的任务当中，翻译得到的每个y的时候，更加关注于某个x，当翻译am的时候，就应该更关注输入当中的
是，让机器也具备这种关注的能力。
2.怎么关注？当翻译y1的时候，y1是通过H1得到的，x1通过特征提取又可以计算出h1，点积的方式可以计算
出两个向量的相似性。H和每个h之间的点积去计算，翻译y1的时候更应该专注哪个x/h。
self-attention：
转载
2024-05-09 14:34:11
132阅读
四种权重初始化方法：把w初始化为0对w随机初始化Xavier initializationHe initialization把w初始化为0:缺点：因为如果把w初始化为0，那么每一层的神经元学到的东西都是一样的（输出是一样的）。在梯度回传阶段，同一层内的所有神经元都是相同的，这样的话神经网络就没有意义了，相当于每一层只有一个神经元。因为在前项传播时，同层的所有神经元都相同，w也相同，在回传计算的梯度
转载
2023-11-09 09:13:15
84阅读
人工神经网络里的权值和权向量是什么意思啊？？神经网络权值的具体含义是什么神经网络权值怎么确定？神经网络的权值是通过对网络的训练得到的。如果使用MATLAB的话不要自己设定，newff之后会自动赋值。也可以手动：{}=;{}=。一般来说输入归一化，那么w和b取0-1的随机数就行。神经网络的权值确定的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。参数初始化要满足两个必要
转载
2023-06-09 23:48:07
263阅读
1，概述 神经网络中的权值初始化方法有很多，但是这些方法的设计也是遵循一些逻辑的，并且也有自己的适用场景。首先我们假定输入的每个特征是服从均值为0，方差为1的分布（一般输入到神经网络的数据都是要做归一化的，就是为了达到这个条件）。 为了使网络中的信息更好的传递，每一层的特征的方差应该尽可能相等，如果保证这个特征的方差是相等的呢。我们可以从初始化的权重值入手。 首先来做一个公式推导： $v
cnn中权值共享理解第一步，针对一个神经元，一幅640*360图像，一个神经元要对应640*360个像素点，即一个神经元对应全局图像，全连接的话一个神经元就有640*360个参数；第二步，然而，图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些不同局部的神经元综合起来就可以得到全局信息。
转载
2024-01-12 23:07:41
66阅读
权重的初始值①权重的初始值十分重要，关系到神经网络的学习是否成功。可以将权重初始值设置为0吗为了抑制过拟合、提高泛化能力，采用权值衰减的方法，它是一种以减小权重参数的值为目的进行学习的方法。 在误差反向传播法中，所有的权重值都会进行相同的更新。比如，在2层神经网络中，假设第1层和第2层的权重为0。这样一来，正向传播时，因为输入层的权重为0，所以第2层的神经元全部会被传递相同的值。第2层的神经元中全
转载
2023-11-30 20:19:29
109阅读
神经网络是很好的函数逼近器和特征提取器，但有时它们的权值过于专门化而导致过度拟合。这就是正则化概念出现的地方，我们将讨论这一概念，以及被错误地认为相同的两种主要权重正则化技术之间的细微差异。1943年，沃伦·麦卡洛克(Warren McCulloch)和沃尔特·皮茨(Walter Pitts)首次提出了神经网络，但它并不受欢迎，因为它们需要大量的数据和计算能力，而这在当时是不可行的。但随着上述约束
转载
2023-10-29 07:59:10
99阅读
目录问题引入数值微分方法损失函数与权重参数的函数关系（数学表达式）神经网络中权重参数的符号函数关系的推导数学基础知识及代码实现的复习求函数梯度的函数及改进神经网络中求损失函数梯度的例子实现一个的3层神经网络（一个隐藏层）神经网络类代码训练过程代码训练过程代码中的一些问题关于训练速度关于大量数据对神经网络的意义 本博客参考书籍：深度学习入门（斋藤康毅著）问题引入在从零到一实现神经网络（python
如果说线性分类器使用直线作为分类的边界，那么神经网络则是在使用线性分类的基础上加了非线性的分类，也就是曲线。直接说就是，比如在svm上是权重w与输入x相乘之后就是计算损失函数（直接使用w权重矩阵对输入x进行分类，而神经网络是在使用w权重对输入x进行分类之前，先用激活函数计算输入x的值，），而神经网络里则不是，它是在权重矩阵w与输入x相乘之后，再将这个结果输入到一个名为激活函数里面，这个激活函数就好
转载
2023-09-25 10:15:05
212阅读
在多层感知器模型中，神经元通常是全部连接，参数较多。而卷积层的参数较少，这也是由卷积层的主要特性即局部连接和共享权重所决定。局部连接：每个神经元仅与输入神经元的一块区域连接，这块局部区域称作感受野（receptive field）。在图像卷积操作中，即神经元在空间维度（spatial dimension，即上图示例H和W所在的平面）是局部连接，但在深度上是全部连接。对于二维图像本身而言，也是局部像
转载
2023-12-01 17:03:09
89阅读
卷积神经网络一般由卷积层、池化层和全连接层构成。 在全连接前馈神经网络中，如果第l 层有个神经元，第l − 1 层有个神经元，连接边有 × 个，也就是权重矩阵有 个参数。当m和n都很大时，权重矩阵的参数非常多，训练的效率会非常低。 如果采用卷积来代替全连接，第L 层的净输入z(L) 为第
转载
2023-10-12 13:26:46
601阅读
