| 图源1、图源2 KaTeX 是一个快速为网站呈现 Tex 科学公式的简单易用的库，通过它我们可以方便快速的书写公式。KaTeX由关键词（标签）和其作用的参数所构成，每个关键词（标签）参数的作用域都只有一个字符，如果想要作用到多个字符，必须用{}将其括起来，不然只会作用到第一个字符。在书写时，代码应当放在$ $之间，如果想要公式居中，则把代码放在$$ $$之间。本文借着学习KaTeX的契机，把
转载
2024-09-02 19:25:26
88阅读
常见的激活函数效果图如下： 代码区：#！E:\anaconda\python.exe
# -*-coding:utf-8 -*-
"""
功能：绘制激活函数 常见的激活函数有sigmoid、tanh、ReLU、eru、leaky ReLU、softmax
时间：2019/10/6
"""
from matplotlib import pyplot as plt
import numpy as
转载
2024-06-07 21:23:15
68阅读
上文我们已经认识了激活函数家族的第一个成员。以阈值为界，一旦输入超过阈值，就切换输出。这样的函数称为“阶跃函数”。但高大上的神经网络世界是不会使用这么低端的激活函数的，只有低级的感知机世界才会用'阶跃函数'。下面登场的是神经网络世界的激活函数----sigmoid函数！！(之所以加双叹号，是因为我们即将进入神经网络的世界。之后就可以制作机器人，然后机器人反叛，一统天下，走向人生巅峰了。)看起来很简
转载
2024-08-07 11:56:02
100阅读
1. sigmod函数函数公式和图表如下图在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，这点很有意思，可以联想到概率，但是严格意义上讲，不要当成概率。sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流行，这说明函数本身是有一定的缺陷的。1) 当输入稍微远离了坐标
转载
2024-05-27 23:11:43
121阅读
激活函数主要作用是：加入非线性的因素，以解决线性模型表达能力不足的缺陷，在整个神经网络里面起到至关重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。在神经网络中常用的激活函数有Sigmoid、Tanh、ReLU、Softplus以及变种函数Noisy ReLU、Leaky ReLU、Elus、
转载
2024-02-28 13:27:57
844阅读
目录一、什么是激活函数二、神经网络的激活函数为什么必须使用非线性函数三、几种激活函数3.1 阶跃函数1. 阶跃函数的实现2. 阶跃函数的图形3.2 sigmoid函数1. sigmoid函数的实现2. sigmoid函数的图形3.3 ReLU函数1. ReLu函数的实现2. ReLu函数的图形3.4 softmax函数1. softmax函数的实现2. 实现
转载
2024-08-21 10:56:56
340阅读
激活函数选择总结 尽量选择ReLU函数或者Leakly ReLU函数，相对于Sigmoid/tanh,ReLU函数或者Leakly ReLU函数会让梯度流更加顺畅，训练过程收敛得更快。权值初始化总结
转载
2024-05-16 12:06:01
206阅读
引言学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：什么是激活函数？激活函数的作用？有哪些激活函数，都有什么性质和特点？什么是激活函数？神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元
转载
2024-07-18 08:43:14
172阅读
Sigmoid激活函数sigmoid函数在历史上很受欢迎，因为他很符合神经元的特征， 优点是： 能够把输出控制在[0,1]之间， 直观 缺点是：1）他的饱和区和未激活区的梯度均为0，容易造成梯度弥散，比如x = 10时和x = -10时，链式求导的时候，梯度会变得很小导致权重更新很慢 2）非0均值输出。这会引入一个问题，当输入均为正值的时候，由于f = s
转载
2024-04-22 14:21:56
83阅读
为什么在分类时要使用激活函数简单的二分类问题 1.网络结构的设计将类别设为圆形为0、正方形为1input: 每个点(圆形和正方形)的坐标output: 0或者1网络结构如下图2.分类结果 输出为 ，此为 和 的线性组合，线性组合只能是直线，这样就拟合处一条直线，将圆形和正方形进行分类，分类后的结果如下图复杂的二分类问题解决这类问题，如果我们还是用线性的方式解决这类问题，可以把圆形和正方形分类
转载
2024-08-05 13:25:53
104阅读
1. 什么是Transformer《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等
激活函数1.引言2.激活函数的用途3.各类激活函数的性质和特点3.1 S形状的激活函数及其变体3.2 ReLU函数及其变体3.3 Sin函数类3.4 Shrink函数类3.5 其他激活函数4.在神经网络运算中如何选择合适的激活函数 1.引言激活函数是在神经网络上运行的函数，将神经元的输入映射到输出端。激活函数在神经网络中进行模型参数的学习、梯度算法求值等等来说具有十分重要的作用。本文详细说明一些
转载
2024-03-19 17:03:21
99阅读
每个神经元都必须有激活函数。它们为神经元提供了模拟复杂非线性数据集所必需的非线性特性。该函数取所有输入的加权和，进而生成一个输出信号。你可以把它看作输入和输出之间的转换。使用适当的激活函数，可以将输出值限定在一个定义的范围内。 如果 xi 是第 j 个输入，Wj 是连接第 j 个输入到神经元的权重，b 是神经元的偏置，神经元的输出（在生物学术语中，神经元的激活）由激活函数决定，
转载
2024-08-15 10:04:25
77阅读
前不久，谷歌AI团队新发布的BERT模型，在NLP业内引起巨大反响，认为是NLP领域里程碑式的进步。BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7%（绝对改进率5.6％）等。BERT模型是以Transform
转载
2024-05-13 11:11:37
65阅读
文章目录【语义分割】2022-HRViT CVPR1. 简介1.1 摘要1.2 介绍2. 网络2.1 网络总体架构2.2 HRViTAttn2.3 MixCFN2.4 融合模块3. 代码 【语义分割】2022-HRViT CVPR论文题目：Multi-Scale High-Resolution Vision Transformer for Semantic Segmentation论文链接：ht
转载
2024-08-05 09:25:24
106阅读
摘要: Transformer虽然效果好，但是却对资源要求比较高，很难在端设备上运行。在传统的Transformer中，每个block中都有Multi-head Attention和全连接层，其中，随着序列长度N的增大，全连接层的计算量是线性增长，而attent ...人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为A
转载
2024-04-01 13:30:48
452阅读
0. 引言0.1 什么是激活函数，有什么作用激活函数是向神经网络中引入非线性因素，通过激活函数神经网络就可以拟合各种曲线。激活函数主要分为：饱和激活函数（Saturated Neurons）非饱和函数（One-sided Saturations）经典的Sigmoid和Tanh就是典型的饱和激活函数，而ReLU以及其变体为非饱和激活函数。非饱和激活函数对比饱和激活函数主要有如下优势：可以解决/抑制梯
转载
2024-04-15 08:28:47
86阅读
激活函数 使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。 在神经网路的前向传播中，这两步会使用到sigmoid函数。sigmoid函数在这里被称为激活函数。sigmoid函数 之前在线性回归中，我们用过这个函数，使我们的输出值平滑地处于0~1之间。 说明：除非输出层是一个二分类问题否则基本不会用它。双曲正切函数 tanh函数是sigm
转载
2024-04-09 20:49:47
81阅读
激活函数就相当于神经元的开关一样，在分类任务中，通过激活函数打开不同的神经元来表示属于哪一类。1 经典的激活函数经典激活函数有下面几种：sigmoidtanhReLuLeaky ReLuELU（Exponential Linear Units）sigmoid是第一代取代阶梯函数的激活函数，从科学的角度，它确实能够实现对神经元的激活和非激活，从而实现不同的表示，当初它的使用场景是二分类，不过现在使用
转载
2024-03-07 11:01:29
0阅读
一、激活函数1、定义 activation function在全连接层或卷积层，我们会输入与权重值W矩阵相乘，得到一个中间结果（对全连接层是一个值，对卷积层是一个矩阵）。对于这个结果，需要将其输入到一个激活函数或者非线性单元中，以得到最终输出。过程如下：2、常见激活函数这里是一些激活函数的例子：Sigmoid函数 1、将输入值压缩到 [0, 1] 区间内； 2、很常用，因为它可以看成是一个神经元的
转载
2024-08-26 21:01:30
87阅读
