我们通常是拿到一个任务，譬如图像分类、识别等，搜集好数据后就开始直接用模型进行训练，但是现实情况中，由于设备的局限性、时间的紧迫性等导致我们无法从头开始训练，迭代一两百万次来收敛模型，所以这个时候迁移学习就派上用场了。什么是迁移学习？ 迁移学习通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，用成语来说就是举一反三。由于直接对目标域从头开始学习成本太高，我们故而
转载
2024-02-04 12:37:23
98阅读
目录深度学习框架一、核心组件核心组件-张量核心组件-基于张量的操作核心组件-计算图核心组件-自动微分工具核心组件-BLAS、cuBLAS、cuDNN等拓展包二、主流框架Caffe TheanoMXNetTensorFlowKerasTorch & PyTorchOneFlow 总结：三、Tensorflow与PyTorch比较分析四、PyTorch入门PyTorch入门
转载
2024-08-20 18:03:19
88阅读
本文将介绍：Transformer论文地址及论文翻译地址Seq2seq+attention优缺点Transformer模型结构图例Encoder-Decoder架构缩放点积注意力多头注意力位置编码Add&NormalizeDecoding过程Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transforme
文章目录摘要一、transformer的引入怎么做seq2seq模型encoder的架构decoderNon-autoregressive(NAT)二、总结 摘要本文介绍的内容是transformer （全自注意力网络），它主要分成两块，encoder和decoder，并对encoder和decoder的架构分别作了解释，通过对比encoder和decoder的架构的不同之处，介绍了masked
转载
2024-06-07 13:58:01
150阅读
转导推理(也称为直推式学习（Transductive Learning)区别于归纳推理（Inductive Inference）从特殊到一般，再从一般到特殊的学习方式，转导推理（Tranductive Inference）是一种从特殊到特殊的统计学习（或分类）方法。在预测样本的类别时，转导推理试图通过局部的标注训练样本进行判断，这与归纳推理先从训练样本中归纳得到一般模型有着很大差异。特别是当训练
深度学习：transformer模型Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to
转载
2024-04-25 06:22:26
71阅读
目录1 简介2 Encoder3 Decoder4 参考 1 简介Transformer是一个Seq2seq(sequence to sequence)模型，其实质上是一个Encoder和Decoder的结合。其简略结构图如下： 其详细的框架图如下： 下面就详细展开其中的内部构造。2 EncoderEncoder实质上就是一个输入是序列(sequence)，输出也是序列的东西，对应的是上述详细图
转载
2024-08-27 18:06:38
250阅读
编译 | bluemin编辑 | 陈大鑫DeepMind NLP科学家Sebastian Ruder在这篇文章中概述了2020年机器学习和自然语言处理领域在10个振奋人心和影响深远的研究方向上的进展。注：领域和方法的选择在很大程度上取决于作者自己的兴趣；所选的主题偏向于表征和迁移学习以及自然语言处理（NLP）。作者试图囊括知晓的全部论文，但未必会面面俱到，请读者随时在下方的评论区中补充相
Deep Transformer Q-Networks for Partially Observable Reinforcement Learning1 本文解决了什么问题？近年来，以 DQN 为代表的深度强化学习算法发展迅速，并在 Atari 学习环境上表现出超人的性能。从那起，研究者不断地对 DQN 进行改进，同时也证明了深度强化学习技术在连续控制任务中表现出色。然而，大多数深度强化学习方法假
常用的深度学习框架支持自动梯度计算，无缝CPU和GPU切换功能。比较有代表性的框架包括：Theano、Caffe、TensorFlow、Pytorch、飞桨（PaddlePaddle）、Chainer和MXNet等． （1） Theano2：由蒙特利尔大学的 Python 工具包， 用来高效地定义、优化和计算张量数据的数学表达式．Theano 可以透明地使用 GPU 和高效的符号微分Theano
转载
2024-08-20 22:07:09
43阅读
专家混合（MoE）是一种流行的架构，比如最近火爆天的 DeepSeek V3 和 R1 就是这类模型。MoE 使用 experts，它们是前馈网络，但与 Trans
# PyTorch与Transformer的关系探讨
在深度学习领域，PyTorch与Transformer架构已经成为了研究与应用的热点。PyTorch是一个灵活且高效的深度学习框架，广泛应用于各种深度学习任务。而Transformer是一种用于序列到序列任务的模型架构，尤其在自然语言处理（NLP）中表现突出。
## PyTorch简介
PyTorch是一个开源的深度学习框架，支持动态计算
如下图所示，Transformer模型采用经典的encoder-decoder结构。其中，待翻译的句子作为encoder的输入，经过encoder编码后
原创
2023-12-05 12:22:35
292阅读
# 深度学习和NLP 关系实现方法
## 流程概述
首先，我们需要明确深度学习和自然语言处理（NLP）之间的关系。深度学习是一种机器学习技术，通过多层神经网络进行特征学习和模式识别。在NLP领域，深度学习被广泛应用于文本分类、情感分析、机器翻译等任务。
下面是实现“深度学习和NLP 关系”的步骤：
## 步骤表格
| 步骤 | 操作 |
| ---- | ---- |
| 1. 准备数据
原创
2024-06-07 05:54:40
58阅读
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。1. Transformer 结构首先介绍 Transformer 的整体结构，下图是 Transf
转载
2024-02-05 01:29:36
119阅读
# 实现激活函数和深度学习的关系
## 引言
深度学习是一种机器学习的方法，它模仿人脑神经元之间的连接方式构建神经网络。在深度学习中，激活函数起着非常重要的作用，它决定了神经网络的非线性映射能力和学习能力。本文将介绍激活函数和深度学习的关系，并教会新手如何实现激活函数的应用。
## 激活函数的作用
激活函数是神经网络中一个非常重要的组成部分，它通过对输入值进行非线性变换，从而提供神经元在不
原创
2023-09-16 07:49:11
119阅读
损失函数：目录0-1损失函数Hinge(合页损失函数)Logistic损失函数交叉熵损失函数平方损失函数Huber损失函数损失函数：刻画模型和训练样本的匹配程度，评价预测值和真实值不一样的程度，损失函数越小，模型越好。0-1损失函数特点：优点：能够直观刻画分类的错误率缺点：非凸、非光滑，很难直接对该函数进行优化应用：感知机Hinge(合页损失函数) 特点：合页损失函数是0-1损失损失函数
转载
2024-07-11 18:31:57
35阅读
1. Attention与Transformer模型Attention机制与Transformer模型，以及基于Transformer模型的预训练模型BERT的出现，对NLP领域产生了变革性提升。现在在大型NLP任务、比赛中，基本很少能见到RNN的影子了。大部分是BERT（或是其各种变体，或者还加上TextCNN）做特征提取（feature extraction）或是微调（
转载
2024-08-03 18:54:13
60阅读
# 深度学习与大数据的关系
在当今技术迅猛发展的时代，深度学习和大数据是两项相互依存的重要技术。深度学习提供了一种强大的工具来处理和分析大数据，而大数据则为深度学习提供了丰富的训练数据。本文将逐步讲解深度学习与大数据之间的关系，并以具体的代码示例帮助小白开发者理解如何实现二者的结合。
## 流程概览
下面的表格展示了深度学习和大数据结合的基本流程：
| 步骤 | 描述
论文：https://export.arxiv.org/pdf/1706.03762.pdf 参考资料：(60条消息) Transformer详解（看不懂你来骂我）_mathor的博客-CSDN博客_transformer(60条消息) Transformer代码完全解读！_Datawhale-目录Transformer模型架构Encoder Positional encodi
