作用：大大减少网络训练参数的同时，还可以实现并行训练。 原理：所谓权值共享就是说给定一张输入图片，用一个卷积核来卷积这张图，卷积核里的值叫做权重，这张图的每个位置是被同一个卷积核扫的，即卷积的时候所用的权重是一样的。其实权值共享这个词说全了就是整张图片在使用同一个卷积核内的参数，比如一个3*3
转载
2023-08-13 18:50:41
273阅读
在读斋藤康毅的深度学习入门的时候，他把神经网络的偏置设置成一维的，当时觉得很不理解，因为既然偏置是对应输出矩阵元素的个数，那输出的维度是多少偏置的维度就应该是多少，而且形状和输出的矩阵保持一致，例如：输入矩阵X(2,4),权重W(4,3),则输出就是Y(2,3),偏置B从存在的意义上讲就是“容错”的机制。我们假设输入的四类动物的个数，权重则是这四类动物共有属性的集合。举例这里用腿的数目举例：假设这
转载
2023-09-17 09:14:03
198阅读
一、可否从数据中自动学习神经网络的权重参数？当然可以，不然学深度学习干啥！神经网络的特征就是可以从数据中学习。所谓“从数据中学习”，是指可以由数据自动决定权重参数的值。深度学习、机器学习的区别：深度学习的优势在于不需要人为挑选特征值。二、为什么要将数据划分为训练数据和测试数据？训练数据用来训练网络权重参数，但由于过拟合的问题，用一组特定的训练数据训练出来的网络可能只是在训练数据上表现很好，而当面对
转载
2023-10-24 14:34:14
152阅读
例如LSTM第一个单元权重矩阵正交化，预训教词向量，还有各种权重矩阵初始化的技巧。 想问的就是反正最后都得拟合了，初始化的意义何在？为了更快收敛还是对效…显示全部 也说说我的看法，神经网络要优化一个非常复杂的非线性模型，而且基本没有全局最优解，初始化在其中扮演着非常重要的作用，尤其在没有BN等技术的早期，它直接影响模型能否收敛。下面从几个方向来说，参考龙鹏：【AI初识境】什
转载
2023-10-08 06:50:35
165阅读
神经网络结构 （Architecture） :结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。激励函数（Activity Rule）: 作用:激励函数是用来加入非线性因素的，因为线性模型的表达能力不够。 常用的激活函数: 1.sigmoid
转载
2023-08-21 21:19:35
1362阅读
深度学习中神经网络的几种权重初始化方法 在深度学习中，神经网络的权重初始化方法对（weight initialization）对模型的收敛速度和性能有着至关重要的影响。说白了，神经网络其实就是对权重参数w的不停迭代更新，以期达到较好的性能。在深度神经网络中，随着层数的增多，我们在梯度下降的过程中，极易出现梯度消失或者梯度爆炸。因此，对权重w的初始化则显得至关重要，一个好的权重初始化虽然不能完全解决
转载
2023-08-25 01:52:36
69阅读
如果说线性分类器使用直线作为分类的边界，那么神经网络则是在使用线性分类的基础上加了非线性的分类，也就是曲线。直接说就是，比如在svm上是权重w与输入x相乘之后就是计算损失函数（直接使用w权重矩阵对输入x进行分类，而神经网络是在使用w权重对输入x进行分类之前，先用激活函数计算输入x的值，），而神经网络里则不是，它是在权重矩阵w与输入x相乘之后，再将这个结果输入到一个名为激活函数里面，这个激活函数就好
转载
2023-09-25 10:15:05
212阅读
以全连接模型为例：输入数据为a[784]的数组，模型共2层神经元，第一层100个，第二层即输出层为10个神经元，则第一层的权重有[784,100]个，截距有[100]个，第二层有[100,10]个权重，截距[10]个，代码用W1表示第一层权重矩阵，B1表示截距行向量，W2表示第二层权重矩阵，B2表示截距行向量，设置每次输入101批数据，则输入数据矩阵为[101,784]，用X表示，输入标签为[10
转载
2023-08-13 21:57:11
254阅读
训练神经网络基本采用反向传播+梯度下降来进行，具体过程如下： 全连接层神经元之间互相连接，假设第一层有三个节点，第二层有个节点，如下图所示： &nb
转载
2023-11-16 14:23:11
77阅读
我们知道神经网络的每个层（layer）都会对输入数据做如下的转换：
output = relu(dot(W, input) + b)
上面表达式中的W和b都是张量数据（tensor），它们代表这个神经网络层的属性，也被称作权重（weights）。这些权重数据就是神经网络通过学习训练数据而获得的。
我们知道神经网络的每个层（layer）都会对输入数据做如下
转载
2023-11-23 17:03:51
239阅读
学习率、权重衰减、动量被称为超参数，因为他们不是由网络训练而得到的参数权重衰减代表原始的代价函数，后面那一项就是正则化项，λ就是权重衰减项作用：防止过拟合过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以
转载
2023-08-23 21:09:43
158阅读
摘要神经网络/深度学习模型训练的过程本质是对权重进行更新，在对一个新的模型进行训练之前，需要每个参数有相应的初始值。对于多层神经网络/深度学习而言，如何选择参数初始值便成为一个值得探讨的问题。本文从实现激活值的稳定分布角度来探讨神经网络的效率优化问题权重在神经网络/深度学习中的作用（个人领受）神经网络的作用是从大量不同的待训练数据中发现数据本身的内在规律（提取特征数据）。这就要求输入数据不能过于集
本文通过简短的实验说明为什么适当的初始化权值在深度神经网络训练中如此重要。 分别用Tensorflow2.0和Pytorch实现。
Why Initialize Weight
权重初始化的目的是防止层激活输出在深度神经网络的正向传递过程中爆炸或消失。如果发生以上任何一种情况，损失梯度不是太大就是太小，无法有利地反向传播，如果发生了以上的情况，网络
转载
2024-04-08 12:06:54
183阅读
1.卷积神经网络降低对图像预处理数据的要求：cnn可以直接使用图像的原始数据作为输入，不必先使用sift算法提取特征。强泛化性：cnn对缩放，平移，旋转等畸变具有很强的泛化性。卷积的权值共享结构：大幅度减少神经网络的参数量，一方面防止过拟合一方面降低模型复杂度。 2.卷积操作：卷积神经网络中，卷积层直接接受图像输入，每一个卷积操作只处理一小块图像，在传入到后面的网络中，每一层卷积都会提取图像中最有
转载
2023-12-10 18:15:02
103阅读
神经网络基础得分函数损失函数前向传播反向传播正则化与激活函数正则化激活函数神经网络过拟合解决方法方法一：增加数据方法二：运用正则化方法三：dropout 得分函数假设我们拥有一张32×32×3的图片，我们现在的目标是需要得到这张图片是各个类别的得分。上图中我们的图片便是函数中的x，对于这张图片中的每一个像素点而言，有些像素点对判定其为狗起到正向作用，相反有些像素点例如旁边的草坪则对判定为狗起抑制
转载
2023-09-17 10:32:13
344阅读
在《多层神经网络训练MATLAB实现》文章中已经详细给出了权重参数更新的算法。在神经网络权重参数更新的过程中，有很多更为先进的更新算法使得整个神经网络学习的更为快速和更为稳定。本文针对其中的动量权重参数更新算法进行说明。动量m顾名思义就是在权重参数更新的过程中加入了一个类似于惯性的参数，即使得权重参数的更新在下一个时间段内不会立刻的转向，而是沿着上一个时间段的运行方向继续运行一段时间。其具体的更新
转载
2023-06-05 15:08:27
597阅读
当节点个数比较多的时候，显然直接用公式计算比较费劲了。这个时候线性代数就派上用场了，当下大部分神经网络运算其实就是矩阵的运算（这里例子是矩阵的乘积）。上图这个神经网络省略了偏置和激活函数，只设定了权重。 import numpy as np
X=np.array([1,2])
W=np.array([[1,3,5],[2,4,6]])
Y=np.dot(X,W)
print(Y)&nbs
转载
2024-02-21 23:41:14
351阅读
1. 误差反馈1.1 误差反馈校正权重矩阵可以理解，输出和误差都是多个节点共同作用的结果，那么该如何更新链接权重？ 思考一下，得到误差后，该怎么分配？平均分的话是否会有失公平？毕竟我们在之前的学习中了解到，前一层每个节点的贡献都是不一样的。考虑极端情况，当某权重为0时，它对下一个节点的贡献为0；这时如果误差仍然平均分配显然是不那么合适的。 但我们很容易想到这个标准：较大链接权重的连接分配更多的误差
转载
2023-10-07 12:12:39
1159阅读
BP神经网络概念BP神经网络的计算过程：由正向计算过程和反向计算过程组成；正向计算过程，输入模式从输入层经隐单元层逐层处理，并转向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向计算，将误差信号沿原来的连接通路返回，通过修改各神经元的权值，使得误差信号最小； 1.正向计算 2.反向计算误差传递 采用矩阵就算反向传递的误差：
转载
2023-06-20 21:57:43
250阅读
九浅一深理解L2正则化和权重衰减1. 什么是L2正则化？针对权重参数的范数惩罚；神经网络的损失函数（或者说目标函数）中加入一个额外的正则化项；2. 什么是权重衰减？神经网络的损失函数（或者说目标函数）不做改变；权重参数迭代更新时直接裁剪一定比例3. 使用随机梯度下降优化器（SGD）时，权重参数如何更新3.1 不使用正则化和权重衰减为普通损失函数，比如交叉熵函数损失函数对权重参数求偏导得到梯度权重参
转载
2023-12-19 22:22:35
6阅读
