1. 什么是Transformer《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等
目录一、什么是激活函数二、神经网络的激活函数为什么必须使用非线性函数三、几种激活函数3.1 阶跃函数1. 阶跃函数的实现2. 阶跃函数的图形3.2 sigmoid函数1. sigmoid函数的实现2. sigmoid函数的图形3.3 ReLU函数1. ReLu函数的实现2. ReLu函数的图形3.4 softmax函数1. softmax函数的实现2. 实现
转载
2024-08-21 10:56:56
340阅读
激活函数主要作用是：加入非线性的因素，以解决线性模型表达能力不足的缺陷，在整个神经网络里面起到至关重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。在神经网络中常用的激活函数有Sigmoid、Tanh、ReLU、Softplus以及变种函数Noisy ReLU、Leaky ReLU、Elus、
转载
2024-02-28 13:27:57
844阅读
1. sigmod函数函数公式和图表如下图在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，这点很有意思，可以联想到概率，但是严格意义上讲，不要当成概率。sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流行，这说明函数本身是有一定的缺陷的。1) 当输入稍微远离了坐标
转载
2024-05-27 23:11:43
121阅读
激活函数选择总结 尽量选择ReLU函数或者Leakly ReLU函数，相对于Sigmoid/tanh,ReLU函数或者Leakly ReLU函数会让梯度流更加顺畅，训练过程收敛得更快。权值初始化总结
转载
2024-05-16 12:06:01
206阅读
引言学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：什么是激活函数？激活函数的作用？有哪些激活函数，都有什么性质和特点？什么是激活函数？神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元
转载
2024-07-18 08:43:14
172阅读
| 图源1、图源2 KaTeX 是一个快速为网站呈现 Tex 科学公式的简单易用的库，通过它我们可以方便快速的书写公式。KaTeX由关键词（标签）和其作用的参数所构成，每个关键词（标签）参数的作用域都只有一个字符，如果想要作用到多个字符，必须用{}将其括起来，不然只会作用到第一个字符。在书写时，代码应当放在$ $之间，如果想要公式居中，则把代码放在$$ $$之间。本文借着学习KaTeX的契机，把
转载
2024-09-02 19:25:26
88阅读
上文我们已经认识了激活函数家族的第一个成员。以阈值为界，一旦输入超过阈值，就切换输出。这样的函数称为“阶跃函数”。但高大上的神经网络世界是不会使用这么低端的激活函数的，只有低级的感知机世界才会用'阶跃函数'。下面登场的是神经网络世界的激活函数----sigmoid函数！！(之所以加双叹号，是因为我们即将进入神经网络的世界。之后就可以制作机器人，然后机器人反叛，一统天下，走向人生巅峰了。)看起来很简
转载
2024-08-07 11:56:02
100阅读
常见的激活函数效果图如下： 代码区：#！E:\anaconda\python.exe
# -*-coding:utf-8 -*-
"""
功能：绘制激活函数 常见的激活函数有sigmoid、tanh、ReLU、eru、leaky ReLU、softmax
时间：2019/10/6
"""
from matplotlib import pyplot as plt
import numpy as
转载
2024-06-07 21:23:15
68阅读
Sigmoid激活函数sigmoid函数在历史上很受欢迎，因为他很符合神经元的特征， 优点是： 能够把输出控制在[0,1]之间， 直观 缺点是：1）他的饱和区和未激活区的梯度均为0，容易造成梯度弥散，比如x = 10时和x = -10时，链式求导的时候，梯度会变得很小导致权重更新很慢 2）非0均值输出。这会引入一个问题，当输入均为正值的时候，由于f = s
转载
2024-04-22 14:21:56
83阅读
本文深入探讨Transformer模型中线性层与激活函数的关键作用，包括非线性变换原理、前馈网络设计模式，以及GELU、Swish等现代激活函数的数学特性与PyTorch实现代码，帮助理解Transformer架构的核心组件。
摘要: Transformer虽然效果好，但是却对资源要求比较高，很难在端设备上运行。在传统的Transformer中，每个block中都有Multi-head Attention和全连接层，其中，随着序列长度N的增大，全连接层的计算量是线性增长，而attent ...人工智能学习离不开实践的验证，推荐大家可以多在FlyAI-AI竞赛服务平台多参加训练和竞赛，以此来提升自己的能力。FlyAI是为A
转载
2024-04-01 13:30:48
452阅读
文章目录【语义分割】2022-HRViT CVPR1. 简介1.1 摘要1.2 介绍2. 网络2.1 网络总体架构2.2 HRViTAttn2.3 MixCFN2.4 融合模块3. 代码 【语义分割】2022-HRViT CVPR论文题目：Multi-Scale High-Resolution Vision Transformer for Semantic Segmentation论文链接：ht
转载
2024-08-05 09:25:24
106阅读
摘要：Long Short Term网络一般叫做 LSTM，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广。究竟如何实现LSTM，由此文带给大家。
前言 在很长一段时间里，我一直忙于寻找一个实现LSTM网络的好教程。它们似乎很复杂，而且
转载
2024-08-09 00:01:07
47阅读
感知机感知机： 1.感知机是一种线性分类模型，而且只针对二分类问题。如果对于一组二分类数据其不能找到一个超平面将所有数据正确划分，那么感知机模型将不可收敛。2感知机定义模型表达式： w为权重向量，b为偏置，x是输入向量，也就是一个样本的特征向量。f(x)的结果即为x表示的样本预测的类别，结果为+1或-1. sign为符号函数x>=0,sign=+1 x<0 ,sign=-1一般书中都会
文章目录一、BP神经网络（MLP）1.1 感知机模型及其局限性1.2 BP神经网络基本原理1.3 softmax多分类、求导1.4 二分类使用softmax还是sigmoid好？1.5 为什么要用激活函数？1.6 梯度下降和链式求导1.7度量学习二、矩阵求导术2.1 标量对向量求导2.2 向量对向量求导2.3 标量对矩阵的矩阵2.4 向量求导及链式法则2.5 BP反向传播2.5 激活函数及其导数
前不久，谷歌AI团队新发布的BERT模型，在NLP业内引起巨大反响，认为是NLP领域里程碑式的进步。BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7%（绝对改进率5.6％）等。BERT模型是以Transform
转载
2024-05-13 11:11:37
65阅读
一、多输入和多输出模型 考虑这样一个模型。我们希望预测Twitter上一条新闻会被转发和点赞多少次。模型的主要输入是新闻本身，也就是一个词语的序列。但我们还可以拥有额外的输入，如新闻发布的日期等。这个模型的损失函数将由两部分组成，辅助的损失函数评估仅仅基于新闻本身做出预测的情况，主损失函数评估基于新闻和额外信息的预测的情况，即使来自主损失函数的梯度发生弥散，来自辅助损失函数的信息也能够训练Emb
一、什么是激活函数 首先祭出神经元示意图所谓的激活函数（激励函数）就是上图的f。在神经元中，输入的 inputs （即xi）通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。 二、为什么要使用激活函数 为啥要用激活函数，肯定这玩意有用哇，但是具体有啥用呢？ &nbs
转载
2023-12-31 14:37:18
352阅读
文章目录前言模型架构Encoder和DecoderEncoderDecoderAttentionFFNEmbeddings和Positional EncodingEmbeddingsPositional Encoding总结 前言今天来看一下Transformer模型，由Google团队提出，论文名为《Attention Is All You Need》。论文地址。 正如标题所说的，注意力是你所
转载
2024-07-29 20:27:14
140阅读
