数据预处理减去均值正则化PCA and Whitening权重初始化全部初始化为零小的随机数校准方差稀疏初始化实际应用批归一化 Batch Normalization正则化L2 regularizationL1 regularizationMax norm constraintsDropoutTheme of noise in forward passBias regularizationPer
转载
2024-01-24 16:17:59
72阅读
softmax我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的了解吗？你对softmax，softmax loss，cross entropy了解吗？相信很多人不一定清楚。虽然网上的
转载
2024-02-19 11:24:55
101阅读
前言训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况：遇到这样的现象，通常有以下几个原因导致：梯度爆炸造成Loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学习率会导致无法顺利地到达最低点，稍有不慎就会跳出可控制区域，此时我们将要面对的就是损失成倍增大(跨量级)。另外，这种情况很容易在网络层数
转载
2023-12-02 16:33:38
933阅读
TensorFlow开发了一个特别有用的可视化工具包：TensorBoard，既可以显示网络结构，又可以显示训练和测试过程中各层参数的变化情况，也是现实神经网络流程图，分为四个部分，第一部分介绍步骤，第二部分是完整代码，第三部分是运行结果。第一部分：基本步骤A、神经网络流程图所有流程图需要添加如下小部件：，网络层层（layer），输入（input-x,input-y),权重(weights)，偏置
转载
2024-01-08 15:13:18
111阅读
奇奇怪怪的损失函数Loss前言本篇博客仅涉及直觉理解，不包括严谨的数学运算。默认读者已经很熟系神经网络的基本结构和反向传播过程，这里仅仅对损失函数的一小点知识做出个人理解，说错了请大哥们指正。本篇小博客内容：loss函数本身在训练过程中是否不变1.loss函数数学角度的输入输出关系：从数学角度来看，神经网络本质上是一个函数，叫它f(x);Loss函数也是个函数，叫它L(f(x),Y),其中Y是标签
转载
2023-12-19 20:21:52
176阅读
文章目录1. 权重初始化2. 偏置初始化3. 损失函数loss4.反向传播 1. 权重初始化不初始化时，为0学不到东西应使各层的激活值既不饱和也不为0，正确的初始化可以加快收敛，降低梯度消失、爆炸的风险常见的初始化方法，小随机数初始化、服从一个多变量高斯分布或多变量均匀分布初始化不合适，训练变慢难收敛 诊断方法
观察所有层的激活值和梯度分布的柱状图 例：双曲正切激活函数在区间[-1,1]内
转载
2023-12-15 15:14:48
191阅读
神经网络基础及逻辑回归实现1. Logistic回归1.1 Logistic回归逻辑回归是一个主要用于二分分类类的算法。逻辑回归是给定一个x , 输出一个该样本属于1对应类别的预测概率=P(y=1∣x)。Logistic 回归中使用的参数如下：例如：【这儿最后把逻辑回归结果和真实结果做对比】1.2 逻辑回归损失函数损失函数（loss function）用于衡量预测结果与真实值之间的误差。
转载
2023-10-20 13:40:57
173阅读
Loss收敛评判标准：1、一般而言，当loss不再下降，趋于稳定时，就差不多收敛了，就意味着训练可以结束了 2、有的人说0.001以下，但主要看效果Loss不收敛可能存在的问题： 首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法：1、数据归一化 神
转载
2023-09-19 23:19:32
560阅读
1、损失函数loss 用于定义网络输出结果与正确结果之间的误差的函数，常用损失函数为均方差（MSE）和交叉熵（Cross Entropy）。一般均方差用于回归问题，交叉熵用于分类问题。2、梯度 梯度下降：让损
转载
2023-12-18 22:49:11
815阅读
Loss function 2018.8.11 技术积淀篇 面试经常被问到损失函数，想着有
转载
2023-12-01 10:25:20
179阅读
Loss函数降不下来 文章目录Loss函数降不下来原因与原理怎样判断？——海森矩阵（Hessian Matrix）陷入鞍点（saddle point）的情况下常用解决方案momentum方法 原因与原理在Loss没有卡住之前，我们是根据gradient（梯度）下降的方向寻找更优的函数，是的loss更小，但是，因为此时gradient为零，怎样对他求导的结果都是零，随意这时候已经找不到梯度下降的方向
转载
2023-10-05 13:39:22
44阅读
影响一个网络性能的因素很多，网络结构，参数优化，loss约束等，这里就常见的几种loss进行比较总结。其中（1）（2）（3）为回归损失，（4）（5）（6）为分类损失。（1）MSE（均方误差）均方误差（MSE）是回归损失函数中最常用的误差，也常被称为L2 loss，它是预测值与目标值之间差值的平方和，其公式如下所示：，有时也写成这样
神经网络具有两大能力：学习能力，指在训练集上精度。泛化能力，指在测试集上精度。对于一个大型神经网络在一个大数据集上跑，loss持续不降，第一步先减小数据量，比如只在单张图片上跑，使用小epochsize，观察LOSS下降情况。如果loss还是不下降说明网络没有学习能力，应该调整模型，因为任何一个网络都会有学习能力。train loss 不断下降，test loss不断下降，说明网络仍在学习;tra
转载
2023-11-26 17:48:11
127阅读
在深入学习技术细节之前，先快速了解一下这一章会学习什么内容。 前面一章我们讨论了逻辑回归，了解了这个模型和流程图之间的联系，如上图。在该流程图中，你需要输入特征x，参数w和b，用于计算z，然后用z计算出a，我们用a同时表示输出，接下来就可以计算损失函数Loss。神经网络就是这样，可以把很多sigmoid单元堆叠起来构成一个神经网络，而之前，这个节点对应两个计算步骤，首先计算出z值，然后计算a值。
转载
2023-09-27 09:25:58
196阅读
很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法：1. 数据和标签
转载
2023-11-10 18:51:37
366阅读
Loss函数 Yolo里的每个格点，是怎么知道该预测哪个物体的？这就是神经网络算法的能力。首先拿到一批标注好的图片数据集，按照规则打好标签，之后让神经网络去拟合训练数据集。训练数据集中的标签是通过人工标注获得，当神经网络对数据集拟合的足够好时，那么就相当于神经网络具备了一定的和人一样的识别能力。神经网络结构确定之后，训练效果好坏，由Loss函数和优化器决定。Yolo v1使用普通的梯度下降法作为优
转载
2023-12-24 13:28:49
123阅读
目录1、模型不收敛主要原因1.1、learning rate设大了会带来跑飞（loss突然一直很大）的问题1.2、数据库太小一般不会带来不收敛的问题1.3、尽量用小模型。2、模型loss 不下降2、Loss 函数不收敛2.1、loss等于87.33不变2.2、loss保持0.69左右3、解决方法总结3.1、数据和标签3.2、学习率设定不合理 3.3、网络设定不合理3.4、数据集label
转载
2023-08-06 14:32:26
523阅读
神经网络是由一个个神经元相互连接并按层次排列构成的，深度神经网络是有任意层的神经网络，这里的深度是指层次的多，而不是神经元数量的多。有任意层，那么就要有一个循环来负责遍历每一层进行计算。所以深度神经网络的计算形式，就必须要适应这个循环结构。 我们先来说说神经元吧这个神经元通过对x，w，b进行运算，得出z，然后再由z得出a。 对于多神经元神经网络，其实也是一样的。简单来说就是重复单神经元的流程，把上
转载
2023-12-20 09:38:39
54阅读
一、绪论1.卷积神经网络的应用图片分类，检索，检测，分割人脸识别，遗传病识别，人脸表情识别图像生成，图像风格转化自动驾驶2.传统神经网络VS卷积神经网络深度学习的三部曲1.搭建神经网络结构2.找到一个合适的损失函数（交叉熵损失(cross entropy loss) , 均方误差(MSE)…）3.找到一个合适的优化函数，更新参数（反向传播(BP)，随机梯度下降(SGD)…）传统VS卷积传统神经网络
转载
2024-01-25 23:10:20
78阅读
在训练神经网络的过程中往往要定时记录Loss的值，以便查看训练过程和方便调参。一般可以借助tensorboard等工具实时地可视化Loss情况，也可以手写实时绘制Loss的函数。基于自己的需要，我要将每次训练之后的Loss保存到文件夹中之后再统一整理，因此这里总结两种保存loss到文件的方法以及读取Loss并绘图的方法。一、采用torch.save(tensor, 'file_name')方法：f
转载
2023-06-27 11:25:20
319阅读
