本篇写一写深度学习里一些常见的东西，比如常见的NN、传播算法、激活函数、优化算法等等。其实博主认为深度学习是一个很玄学的领域，很多东西需要实证，之后慢慢补上。。 激活函数激活函数是具有一些性质的，例如可微、单调、取值有范围（若无限则需要更小的Learning Rate）等。其实博主认为这些激活函数只要不出理论性的偏差，在优化上的水分（即所谓的Trick）是比较大的，就像数据准备和模型训练
之前提到的激活函数是以阈值0（界限值）为界的，小于等于0，输出0，否则，输出1。类似于这样的切换输出函数被称之为“阶跃函数”。因此，可以说感知机的激活函数为阶跃函数。那么，如果感知机使用其他函数作为激活函数的话会怎么样呢？实际上，如果将激活函数从阶跃函数换成其他函数，就可以进入神经网络的世界了。1、阶跃函数下面我们就用图来表示上面定义的阶跃函数，为此需要使用 matplotlib 库。# codi
转载
2024-02-14 10:14:12
528阅读
文章目录激活函数种类1、阶跃函数2、Sigmoid 函数3、tanh 函数4、ReLU5、ELU6、Softmax激活函数的使用 激活函数：Activation functionsDL 每一层网络做线性操作，添加激活函数增加非线性计算。激活函数种类1、阶跃函数英文名：Step Function，别名：Heaviside函数公式：像是电信号进来，低电平 0、高电平 12、Sigmoid 函数规律：
Simulink入门学习笔记，欢迎批评指正！
资源：Simulink仿真及代码生成技术入门到精通（孙忠潇 编著）
9.1 Simulink流控制分类simulink中流控制时通过自带的模块实现的，包括If else、Switch、For和While4个种类。9.2 While流控制while如果条件为真，那么子系统在当前的步
转载
2024-05-21 21:30:59
105阅读
冲激阶跃与卷积冲激响应与阶跃响应（差分方程不赘述）卷积积分 冲激响应与阶跃响应（差分方程不赘述）**冲激响应：**系统在单位冲激信号δ(t)作用下产生的零状态响应，称为单位冲激响应，简称冲激响应，一般用h(t)表示。 **阶跃响应：**系统在单位阶跃信号u（t）作用下的零状态响应，称为单位阶跃响应，简称阶跃响应，一般用g(t)表示。卷积积分卷积定义：已知定义在区间（–∞，∞）上的两个函数f1(t
转载
2024-01-21 05:55:19
1310阅读
一. 奇异信号奇异信号也称突变信号。信号中的奇异点及不规则的突变部分经常携带有比较重要的信息，它是信号重要的特征之一： 例如在图像信号里，灰色的突变形成物体的轮廓。 函数本身有不连续点(跳变点)或其导数与积分有不连续点的一类函数统称为奇异信号或奇异函数。奇异信号包括： （1）单位阶跃信号 （2）单位冲激和冲激偶信号 （3）斜变信号，又称为斜坡信号或者斜升信号1. 单位斜变信号单位斜变信号斜率为12
转载
2024-05-30 22:57:30
299阅读
与冲激函数、阶跃函数的卷积信号与系统总 复 习 第一章 绪论 1、信号的概念 2、分类：典型的连续时间信号： 指数、正弦、复指数、抽样、钟形、δ(t), u(t), eat, sin(ω0t), Sa(kt) 3、信号的运算： 移位、反褶、尺度变换、微分运算、相加、相乘 4、奇异信号： 单位斜变、 阶跃、冲激(特性)、冲击偶 5、信号的分解： 脉冲分量、 6、系统模型及其分类 7、线性是不变系统的
转载
2024-01-25 21:43:51
79阅读
文章目录前言一、heaviside()函数1.heaviside()函数的介绍2.heaviside()实例二、stepfun()函数1.stepfun()函数的介绍2.stepfun()实例总结小刘的悲催日常，终于要转运了 前言阶跃函数在MATLAB中有两种调用函数：heaviside()函数、stepfun()函数 下面我们就来看看它俩的区别和用法。一、heaviside()函数1.heav
转载
2023-06-25 14:50:31
715阅读
激活函数上面小节中我们提到激活函数可以使用不同的表示.比如可以使用阶跃函数来作为感知机模型激活函数.在神经网络中我们可以选用sigmoid函数.到底有哪些激活函数呢?这些激活函数到底是长什么样子呢?sigmoid 函数sigmoid 激活函数是一个比较常见的函数,其数学表达式如下:式子中的x:就我们接收输入信号x1和x2，然后与权重w1和w2结合，然后加上偏置值b.下面我们就来看看如何实现这个函数
转载
2023-10-19 09:34:32
243阅读
1.激活函数和损失函数在神经网络中，除了基本的矩阵运算外，还会涉及两个函数的操作。1.1 激活函数激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，网络只能表示特征的线性映射，即便有再多隐藏层，其整个网络也和单层网络是等价的。激活函数应该具有的性质：可微性：后向传播寻优，需要这个性质。单调性：保证单层网路是凸函数。输出值的范围：有限范围时，基于梯度的优化方法更加稳定，因为特征的表示受
转载
2024-05-11 17:24:28
398阅读
零.前言按照PPT的分章来决定每篇的内容长度与分节。一.阶跃函数ε1.1 定义1.2 性质 阶跃函数的积分是斜坡函数，即：二.冲激函数δ2.1 定义 其推导过程为：2.2 关系2.3 作用冲击函数可以描述间断点的导数三.冲激函数的广义函数定义3.1 函数的定义3.1.1 普通函数的定义就我们学的那种 映射的概念。3.1.2 广义函数的定义很类似于普通函数，但是广义函数的自变量换成了检验函数：φ(t
转载
2023-12-03 12:09:11
953阅读
1.阶跃函数阶跃函数：这是一种最简单的非线性激活函数，它将小于零的值转换为0，大于零的值转换为1。虽然这个函数非常简单，但是它很少被使用，因为它在不同数据之间造成了不连续的跳跃，这会导致反向传播算法出现不可导的情况。阶跃函数公式：阶跃函数代码及函数图：# 导入相关库
import numpy as np
import matplotlib.pyplot as plt# 定义阶跃函数
def ste
转载
2023-10-01 09:23:26
2183阅读
Question？ 激活函数是什么？ 激活函数有什么用？ 激活函数怎么用？ 激活函数有哪几种？各自特点及其使用场景？1.激活函数1.1激活函数是什么？ 激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力
转载
2024-06-06 06:53:43
0阅读
文章目录前言一、sigmoid函数在逻辑回归以及深度学习的应用2.假设陈述3.决策边界4.sigmoid函数介绍5.sigmoid函数在深度学习上的应用6.sigmoid函数的优缺点二、逻辑回归代码 前言 逻辑回归与之前的线性回归虽然名字类似，但其实是一种分类的方法，如分辨是否为垃圾邮件（是或否），输入肿瘤特征分辨是良性还是恶性等。因为最终的类别已经确定，我们只需要将不同的输出结果进行分类，这
转载
2024-03-21 11:25:29
745阅读
激活函数目录==SoftPlus====Softmax====Sigmoid====修正线性单元（Rectified linear unit，ReLU）====参数化修正线性单元（Parameteric Rectified Linear Unit，PReLU）====带泄露修正线性单元（Leaky ReLU）====指数线性单元（Exponential Linear Unit，ELU）====双
文章目录1. sigmoid2. softmax3. tanh4. Relu5. Leaky ReLU函数（PReLU）6. ELU 1. sigmoidsigmoid是很常用的非线性激活函数，其取值范围为[0,1]，连续可导函数，因此，实际应用中可以把sigmoid的结果当成概率值。典型例子如逻辑回归 sigmoid的导数为： 图像如下：当 z 值非常大或者非常小时，sigmoid函数的导数
转载
2024-03-21 19:51:21
555阅读
欢迎订阅本专栏：《机器学习算法面试题》订阅地址：【机器学习算法面试题】一.准确率Accuracy的局限性。 【机器学习算法面试题】二.精确率Precision和召回率Recall的权衡。【机器学习算法面试题】三.数据处理时应如何处理类别型特征？【机器学习算法面试题】四.深度神经网络中激活函数有哪些？【机器学习算法面试题】五.在模型评估过程中，过拟合和欠拟合具体是指什么现象？【机器学习算法面试题】六
转载
2024-08-27 10:00:42
184阅读
sigmoid函数的特性及硬件实现方法--含matlab代码实现及讲解1. 简介2. sigmoid函数的特性介绍2.1 sigmoid(x)与sigmoid(-x)的关系2.2 sigmoid函数与tanh函数的关系2.3 sigmoid函数的n阶导数2.4 当x=n*ln2时的数值2.5 其他关系式3. 硬件实现方案4. matlab代码实现及讲解 1. 简介sigmoid是神经网络中常用的
转载
2024-03-21 10:45:49
292阅读
激活函数的作用：1、主要作用是改变之前数据的线性关系，使网络更加强大，增加网络的能力，使它可以学习复杂的事物，复杂的数据，以及表示输入输出之间非线性的复杂的任意函数映射；2、另一个重要的作用是执行数据的归一化，将输入数据映射到某个范围内，再往下传递，这样做的好处是可以限制数据的扩张，防止数据过大导致的溢出风险。一、sigmoid函数公式： 图像：特点：1、从图中可以看到，当输入大于5或小
转载
2024-04-14 16:23:56
580阅读
# Python的阶跃函数：原理与实现
阶跃函数（Step Function）是数学和计算机科学中一种重要的函数。在信号处理、控制系统以及机器学习等领域，阶跃函数被广泛应用。本文将介绍Python中的阶跃函数，并通过示例代码帮助你理解其实现和应用。
## 什么是阶跃函数？
阶跃函数是一个分段函数，其输出在某个特定点（阈值）之前保持不变，超过该点后则直接跳跃到另一个恒定值。最常见的阶跃函数是H
