前言1.什么是循环神经网络？ 一个最简单的循环神经网络如下图所示：这样的神经网络一共有3层，分别是输入层x，隐藏层h和输出层y。定义每一层的节点下标如下：k表示的是输出层的节点下标，j表示的是当前时间节点隐藏层的节点下标，l表示的是上一时间节点隐藏层的节点下标，i表示的是输入层的节点下标。2.回归评价指标MSE ：均
转载
2023-11-29 18:45:05
15阅读
偏差、方差偏差，方差是我们调整神经网络的一个重要指标，在搭建神经网络时需要权衡这两个值，当高偏差时，算法不能很好的拟合数据，称之为欠拟合；当高方差时，算法过于贴合数据集，称之为过拟合。 判断偏差与方差的情况，可以根据训练集与验证集的正确率进行评估，训练集的误差高则偏差高，验证集的误差高则方差高，是可以出现方差与偏差同时很糟糕的情况。高偏差、高方差调整方法 高偏差一般可以通过 1、重新选择一个网络，
转载
2023-12-19 05:11:43
139阅读
1.分析上文的代码，发现跟标准的神经网络相比，它没有偏置，但仍然可用，一般的系统中，偏置一般是全局的，每一层共享一个bias，或者所有层的所有节点 都使用同一个bias。 2.一般评估误差（就是循环计算误差终止运算条件），采用均方误差 也就是所有样本的所有输出节点的误差的平方和。这在代码中也有体现。 //计算输出误差 for
转载
2024-01-12 19:00:53
93阅读
损失函数表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，不一致。可以使用任意函数，一般用均方误差和交叉熵误差。均方误差\[E=\frac{1}{2}\sum_{k}{(y_k-t_k)^2}
\]这里，\(y_k\) 表示神经网络的输出， \(t_k\) 表示监督数据，\(k\)one-hot表示：将正确的标签表示为 \(1\)，其他标签表示为 \(0\)。交叉
转载
2023-07-26 21:40:30
444阅读
作者： Alberto Quesada 译者： KK4SBB 责编：何永灿， 神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多，它们的特点和性能各不相同。
问题的抽象 人们把神经网络的学习过程转化为求损失函数f的最小值问题。一般来说，损失函数包括误差项和正则项两部分。误差项衡量神经网络模型在训练数据集上的拟合程度，而正则项则是控制模型的复杂程度，防止
2.4 损失函数神经网络模型的效果及优化的目标是通过损失函数来定义的。回归和分类是监督学习中的两个大类。2.4.1 均方误差损失函数均方误差（Mean Square Error）是回归问题最常用的损失函数。回归问题解决的是对具体数值的预测，比如房价预测、销量预测等。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。均方误差定义如下： 其中，'y’表示第i个数据集的真实值；
转载
2024-01-31 03:12:56
135阅读
在神经网络中，如何判断一个输出向量和期望的向量有多接近呢？交叉熵（cross entropy）是常用的方法之一，刻画了两个概率分布之间的距离，是分类问题中使用较多的一种损失函数。 给定两个概率分布p和q，通过q来表示p的交叉熵为： 如何将神经网络前向传播得到的结果也变成概率分布，比较常用的方法为Softmax回归。 Softmax回归本身可以作为一个学习算法来优化分类结果，但在TensorF
转载
2024-04-19 09:31:51
25阅读
1、CNN概念1、卷积神经网络(CNN)常用于图像、语音识别领域2、ReLU激活函数 ReLU激活函数定义： 使用ReLU激活函数的优势：(1)速度快 和sigmoid函数需要计算指数和倒数相比，relu函数其实就是一个max(0,x)，计算代价小很多。 (2)减轻梯度消失问题 回忆一下计算梯度的公式。 这个值最大是0.25，当这个值很小的时候，梯度会逐渐变小 梯度计算公式：(3)稀疏性 通过对大
转载
2024-09-14 13:18:45
31阅读
BP神经网络基本原理 BP神经网络是一种单向传播的多层前向网络，具有三层或多层以上的神经网络结构，其中包含输入层、隐含层和输出层的三层网络应用最为普遍。 网络中的上下层之间实现全连接，而每层神经元之间无连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向
转载
2024-04-24 17:09:13
78阅读
损失函数定义损失函数：衡量模型输出与真实标签的差异。L1_loss 平均绝对误差（L1 Loss）:平均绝对误差（Mean Absolute Error,MAE）是指模型预测值f(x)和真实值y之间距离的平均值，公式如下：优点：无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度
转载
2023-12-13 01:39:34
244阅读
深度学习导论（6）误差计算一. 再谈误差计算二. 神经网络类型三. 模型的容量和泛化能力四. 过拟合与欠拟合1. 过拟合（Overfitting）2. 欠拟合（Underfitting）五. 划分验证集六. 如何使用验证集七. 过拟合和欠拟合的解决办法八. 正则化1. 定义2. 正则化方式(1) L0正则化(2) L1正则化(3) L2正则化3. 正则化效果4. Dropout 一. 再谈误差计
转载
2024-01-17 09:54:49
134阅读
梯度检测 确认没有错误之后就关掉这个梯度检测，否则会变得很慢，因为他比反向传播慢的很 选择神经网络的架构 输入层与输出层是与特征的维度与类别的数目相关的。 对于隐藏层，如果大于1隐藏单元的数目应该是相等。 欠拟合：高偏差 过拟合： 高方差 交叉验证： 分为训练集 测试集以及交叉验证集 判别办法 横坐标d是维度 d为1的时候 训练误差和交叉误差都很大。当d很大的时候训练误差是小的 但是交叉误差是大
转载
2024-03-12 21:18:58
61阅读
一 损失函数介绍损失函数用于描述模型预测值与真实值的差距大小。一般有有两种常见的算法——均值平方差（MSE）和交叉熵。下面来分别介绍每个算法的具体内容。1 均值平方差均值平方差（Mean Squared Error，MSE），也称“均方误差”，在神经网络中主要是表达预测值和真实值之间的差异，在数理统计中，均方误差是指参数估计值与参数真值之差平方的预期值，主要用于回归问题。公式如下：主要是对每一个真
转载
2024-01-11 11:33:13
177阅读
文章目录一、损失函数均方误差交叉熵误差二、数值微分导数偏导数梯度梯度法 一、损失函数均方误差：神经网络的监测数据k：表示数据维度交叉熵误差log 为以 e 为底的对数当 为 one_hot 表示（即正确解用1表示，其余均用0表示），例如：y = [0.02, 0.04, 0.13, 0.03, 0.15, 0.14, 0.20,0.11,0.02,0.16]
t = [0,0,1,0,0,0,
转载
2023-11-20 07:45:15
108阅读
Deep Residual Learning for Image Recognition》论文中提出，是在CVPR 2016发表的一种影响深远的网络模型，由何凯明大神团队提出来，在ImageNet的分类比赛上将网络深度直接提高到了152层，前一年夺冠的VGG只有19层。ImageNet的目标检测以碾压的优势成功夺得了当年识别和目标检测的冠军，COCO数据集的目标检测和图像分割比赛上同样碾压夺冠，可
转载
2023-11-24 16:51:22
98阅读
最近看了BP神经网络(Back Propagation Neural Networks)，对于其中误差反向传播公式的推导比较困惑，1. BP网络模型及变量说明1.1 模型简图
1.2 变量说明：ml：第l层神经元个数 x(1)p: 输入层第p个神经元，p=1…m1；yk : 输出层第k的神经元的输出，k=1…ml+1；tk：输出层第k的神经元的目标值，k=1…ml+1；z(l)j：第l层的
转载
2023-10-30 23:41:55
78阅读
最小均方误差（MMSE）意义下的最优帧内预测推导：MMSE:Minimum Mean Squared Error,思想是将预测值和真值的误差的平方的期望（均值）最小化，以使得预测值尽量逼近真值，和真值差距尽可能小，这个理论指导下，我们来推导最优帧内预测的加权系数向量。帧内预测是用于消除单帧图像内部的空间冗余的图像压缩方法，视频压缩中I帧(关键帧)就只需要帧内预测编码。先把所有像素值去中心化，即减去
转载
2023-11-22 14:36:24
114阅读
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸。
转载
2023-12-10 15:37:48
3295阅读
各种误差：RMSE、MSE、MAE、SDRMSE（Root Mean Square Error）均方根误差衡量观测值与真实值之间的偏差。常用来作为机器学习模型预测结果衡量的标准。MSE（Mean Square Error）均方误差MSE是真实值与预测值的差值的平方然后求和平均。通过平方的形式便于求导，所以常被用作线性回归的损失函数。MAE（Mean Absolute Error）平均绝对误差是绝对
转载
2024-01-25 17:54:50
48阅读
ResNet残差网络学习、ResNet论文解读一、前言为什么会提出ResNet?什么是网络退化现象？那网络退化现象是什么造成的呢？ResNet要如何解决退化问题？二、残差模块三、残差模块的优点四、残差模块发挥了作用的原因五、ResNet网络结构六、论文解读 一、前言在学习Yolo v3的过程中，了解到它借鉴了残差网络的快捷链路（shortcut connection），因此为了更好的理解yolo
转载
2023-11-10 10:59:35
125阅读
