一、RNN RNN（Recurrent Neural Networks,循环神经网络）不仅会学习当前时刻的信息，也会依赖之前的序列信息，允许信息持久化。由于其特殊的网络模型结构解决了信息保存的问题。所以RNN对处理时间序列和语言文本序列问题有独特的优势。 标准的RNN模型如下图所示： 
转载
2024-08-09 00:01:25
96阅读
目录一、激活函数是什么二、为什么要用到激活函数呢三、常用的激活函数sigmoid函数Tanh函数 ReLU函数一、激活函数是什么所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。在神经元中，
转载
2024-03-08 23:20:15
334阅读
1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 2. 为什么要用why?如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可
转载
2024-03-21 18:05:33
45阅读
1.什么是激活函数？所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。2.为什么要用激活函数？如果
转载
2024-03-21 10:59:59
88阅读
文章目录前言一、为什么要用激活函数？二、激活函数的种类1.Relu函数2.Leaky_Relu函数3.sigmoid函数4.tanh函数 前言深度学习模型中网络层中经常会用的激活函数，是神经网络不可或缺的一部分。激活函数会影响输入节点的输出，激活函数的选择是非常重要的，极大的影响模型训练的好坏。 一、为什么要用激活函数？ 神经网络的激活函数的主要作用就是将线性函数转换成非线性函数。神经网络
转载
2023-12-15 10:11:33
224阅读
原理PNN，全称为Product-based Neural Network，认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，如下图：按照论文的思路，我们也从上往下来看这个网络结构：
输出层
输出层很简单，将上一层的网络输出通过一个全链接层，经过sigmoid函数转
激活函数的作用神经网络为什么要使用激活函数？ 首先提一下激活函数的一般形式，在我平时的学习中，我遇到过的一般是这四种形式，simoid,tanh,ReLu,softplus。 simoid函数也称S曲线：f(x)=11+e −x
tanh:f(x)=tanh(x)
ReLU：f(x)=max(x,0)
softmax:f(x)=log(1+exp(x)) &nb
转载
2024-01-08 16:11:07
66阅读
什么~为什么~哪些（RSST）一、什么是激活函数 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function：二、为什么要用激活函数 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数
转载
2023-08-26 08:12:31
1516阅读
点赞
神经元和感知器的本质一样神经元和感知器本质上是一样的，只不过感知器的时候，它的激活函数是阶跃函数；而当我们说神经元时，激活函数往往选择为sigmoid函数或tanh函数。如下图所示： 输入节点 每一个输入节点对应一个权值，输入节点可以是任意数。权重 W1，W2...Wn偏置项 
转载
2024-04-25 10:54:51
41阅读
每个激活函数的输入都是一个数字，然后对其进行某种固定的数学操作。激活函数给神经元引入了非线性因素，如果不用激活函数的话，无论神经网络有多少层，输出都是输入的线性组合。激活函数的发展经历了Sigmoid -> Tanh -> ReLU -> Leaky ReLU -> Maxout这样的过程，还有一个特殊的激活函数Softmax，因为它只会被用在网络中的最后一层，用来进行最后
转载
2024-07-10 07:52:23
30阅读
一、写在前面书接上回，本文开始讲解LSTM的基础内容，同时讲解使用Keras实现LSTM的关键代码以及完整实现。同样是参考李沐大佬和王树森教授的相关课程内容。目录一、写在前面二、引言三、LSTM基础知识四、核心代码详解五、完整代码实现六、总结七、参考文献二、引言Long short-term memory LSTM是一种RNN模型，是对Simple RNN的改进，LSTM可以避免梯度消失的问题,可
转载
2024-09-03 21:11:59
68阅读
导语：卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。 作者：姜媚前言 自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后，卷积神经网络（CNN）的热潮便席卷了整个计算机视觉领域。CNN模型火速替代了传统人工设计（hand-crafted）特征和分类器，不仅
临时备考用，有许多未完善地方，有错误欢迎纠正三种方法特征线法；分离变量法；积分变换法；1.特征线法：就是列特征方程，令ξη带入…2.分离变量法：就是令u(x,t)=X(x)T(t)，带入分成两组方程求解…3.积分变换法：拉氏变换与傅氏变换（我们考拉氏变换）阶:偏微分方程中最高阶偏导数的阶数称为偏微分方程的阶。线性:偏微分方程中关于未知函数及其各阶偏导数都是一次的,且方程中的系数仅依赖于自变量,称为
LSTM单元计算 图中虽然有3个LSTM单元，但是实际上只有一LSTM单元A，这里计算过程是假设输入的时间序列是3，则首先输入样本,LSTM初始状态,得到LSTM的状态和，此时在同一个LSTM单元输入和和，得到和，在同一个LSTM单元输入和和，得到和，此时完成了一次LSTM的forward计算，然后才开始进行反向梯度下降更新参数。 LSTM核心记忆单元是cell state，他存储着经历过的信息。
为什么需要DQN我们知道，最原始的Q-learning算法在执行过程中始终需要一个Q表进行记录，当维数不高时Q表尚可满足需求，但当遇到指数级别的维数时，Q表的效率就显得十分有限。因此，我们考虑一种值函数近似的方法，实现每次只需事先知晓S或者A，就可以实时得到其对应的Q值。DQN中采用了深度神经网络作为值函数近似的工具，这种方法被证明十分有效。 DQN简介Q-learning算法很早就有了，但是其与
转载
2024-09-23 07:23:27
211阅读
文章目录一、BP神经网络（MLP）1.1 感知机模型及其局限性1.2 BP神经网络基本原理1.3 softmax多分类、求导1.4 二分类使用softmax还是sigmoid好？1.5 为什么要用激活函数？1.6 梯度下降和链式求导1.7度量学习二、矩阵求导术2.1 标量对向量求导2.2 向量对向量求导2.3 标量对矩阵的矩阵2.4 向量求导及链式法则2.5 BP反向传播2.5 激活函数及其导数
Yolov3详解1.模型结构2.Yolo_v3损失函数3.IoU算法4.Yolo_v3的边框预测公式5.边框选择算法 1.模型结构模型图： Darknet-53结构图： Yolo_v3卷积模型结构：2.Yolo_v3损失函数3.IoU算法IoU算法计算的是bounding box和ground truth box的交集和并集之间的比值，如图所示： bounding box与ground
Content01.0-神经网络的基本工作原理01.1-基本数学导数公式01.2-Python-Numpy库的点滴02.0-反向传播与梯度下降02.1-线性反向传播02.2-非线性反向传播02.3-梯度下降03.0-损失函数03.1-均方差损失函数03.2-交叉熵损失函数04.0-单入单出单层-单变量线性回归04.1-最小二乘法04.2-梯度下降法04.3-神经网络法04.4-梯度下降的三种形式0
问题:平常我们注册后,往往需要提示我们需要打开邮箱激活账号,那么激活账号是怎么进行操作的呢?激活有什么意义?为什么需要激活呢?分析:1.对用户客户端而言,激活是操作了数据库的某一状态,使账号处于开放状态,获得使用权。 也是对身份一种核查,绑定了你的邮箱,方便通知你,或者密码找回等操作。 2.对服务器而言,防止了机器注册(大量生产无意义的注册),根据你的CPU和MAC地址生成一个激活码,确保了唯一性
一年前看LSTM，感觉非常复杂难理解，如今再看，感觉似乎简单清晰了许多，此处做个简单记录。LSTM来自一篇论文：github链接如下：https://colah.github.io/posts/2015-08-Understanding-LSTMs/其实，说白了，LSTM就是一个复杂点的RNN，把RNN中的cell做了替换，就成了LSTM。之所以要替换cell，是因为RNN不能解决长期依赖问题，简
