Hichens的博客_learn pytorch

ModernRNN

GRU RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN : $$ H_{t} = ϕ(X_{t}W_{xh} + H_{t 1}W_{hh} + b_{h}) $$ GRU : $$ R_{t} = σ(X_tW_{xr} +

ide

初始化

依赖关系

时间序列

重置

原创 2021-08-06 10:12:41 144 阅读

Momentum

11.6 Momentum 在 "Section 11.4" 中，我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量

2d

迭代

梯度下降

最优解

初始化

转载 2021-08-06 10:10:46 255 阅读

凸优化

优化与深度学习优化与估计尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。优化方法目标：训练集损失函数值深度学习目标：测试集损失函数值（泛化性） %matplotlib inline import sys sys.path.append('/h

深度学习

最小值

ide

3d

损失函数

原创 2021-08-06 10:09:59 313 阅读

梯度下降

梯度下降（ "Boyd & Vandenberghe, 2004" ）一维梯度下降证明：沿梯度反方向移动自变量可以减小函数值泰勒展开： $$ f(x+\epsilon)=f(x)+\epsilon f^{\prime}(x)+\mathcal{O}\left(\epsilon^{2}\rig

2d

梯度下降

随机梯度下降

最小值

读取数据

原创 2021-08-06 10:07:47 287 阅读

Transformer

Transformer 在之前的章节中，我们已经介绍了主流的神经网络架构如卷积神经网络（CNNs）和循环神经网络（RNNs）。让我们进行一些回顾： CNNs 易于并行化，却不适合捕捉变长序列内的依赖关系。 RNNs 适合捕捉长距离变长序列的依赖，但是却难以实现并行化处理序列。为了整合CNN和RNN

编码器

归一化

循环神经网络

权重

并行化

原创 2021-08-06 09:59:59 515 阅读

机器翻译

机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。输出序列的长度可能与源序列的长度不同。 ['fraeng6506', 'd2l9528', 'd2l6239'] 数据预处理

数据集

机器翻译

ide

数据预处理

神经网络

原创 2021-08-06 09:53:59 184 阅读

过拟合、欠拟合及其解决方案

过拟合、欠拟合及其解决方案 1. 过拟合、欠拟合的概念 2. 权重衰减 3. 丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出

数据集

权重

拟合

过拟合

损失函数

原创 2021-08-06 09:53:57 531 阅读

注意力机制和Seq2seq模型

注意力机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器以生成目标序列。然而这种结构存在着问

编码器

权重

显式

键值对

当前路径

原创 2021-08-06 09:53:49 235 阅读

卷积神经网络基础

卷积神经网络基础本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。二维卷积层本节介绍的是最常见的二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross correlation）运算的输入是一个二维输入数组和一个二维核（ker

卷积

2d

池化

数组

卷积核

原创 2021-08-06 09:53:42 717 阅读

leNet

course content 1. lenet 模型介绍 2. lenet 网络搭建 3. 运用lenet进行图像识别 fashion mnist数据集 Convolutional Neural Networks 使用全连接层的局限性：图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式

卷积

2d

全连接

数据

lua

原创 2021-08-06 09:53:40 116 阅读

ModernCNN

深度卷积神经网络（AlexNet） LeNet: 在大的真实数据集上的表现并不尽如⼈意。 1.神经网络计算复杂。 2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。机器学习的特征提取:手工定义的特征提取函数神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。

2d

ide

卷积

全连接

池化

原创 2021-08-06 09:53:38 75 阅读

词嵌入进阶

词嵌入进阶在 "“Word2Vec的实现”" 一节中，我们在小规模数据集上训练了一个 Word2Vec 词嵌入模型，并通过词向量的余弦相似度搜索近义词。虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完

词向量

损失函数

中心词

twitter

数据集

原创 2021-08-06 09:53:07 116 阅读

词嵌入基础

词嵌入基础我们在 "“循环神经网络的从零开始实现”" 一节中使用 one hot 向量表示单词，虽然它们构造起来很容易，但通常并不是一个好选择。一个主要的原因是，one hot 词向量无法准确表达不同词之间的相似度，如我们常常使用的余弦相似度。 Word2Vec 词嵌入工具的提出正是为了解决上面这

中心词

数据集

损失函数

二次采样

条件概率

原创 2021-08-06 09:53:05 113 阅读

批量归一化和残差网络

批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的

2d

ide

卷积

方差

归一化

原创 2021-08-06 09:53:01 210 阅读

文本分类

文本情感分类文本分类是自然语言处理的一个常见任务，它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题：使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析，并有着广泛的应用。同搜索近义词和类比词一样，文本分类也属于词嵌入的下游应用。在本节中，我们将应用预训练的词向量和含多个隐

卷积

池化

数据集

循环神经网络

词向量

原创 2021-08-06 09:52:54 733 阅读

pytorch 数据操作

数据操作在深度学习中，我们通常会频繁地对数据进行操作。作为动手学深度学习的基础，本节将介绍如何对内存中的数据进行操作。在PyTorch中，是存储和变换数据的主要工具。如果你之前用过NumPy，你会发现和NumPy的多维数组非常类似。然而，提供GPU计算和自动求梯度等更多功能，这些使更加适

数据

数组

数据类型

共享内存

深度学习

原创 2021-08-06 09:52:43 210 阅读

pytorch 自动求梯度

自动求梯度在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的 "autograd" 包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。概念上一节介绍的是这个包的核心类，如果将其属性设置为

标量

反向传播

子节点

f5

权重

原创 2021-08-06 09:52:41 510 阅读

模型微调

9.2 微调在前面的一些章节中，我们介绍了如何在只有6万张图像的Fashion MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1,000万的图像和1,000类的物体。然而，我们平常接触到数据集的规模通常在这两者之间。假设我们想从图像中

数据集

初始化

类图

缩放

成员变量

原创 2021-08-06 09:52:39 598 阅读

数据增强

图像增广在5.6节（深度卷积神经网络）里我们提到过，大规模数据集是成功应用深度神经网络的前提。图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的

数据集

随机变化

池化

辅助函数

计算机视觉

原创 2021-08-06 09:52:37 307 阅读

目标检测基础

9.3 目标检测和边界框 9.3.1 边界框 9.4 锚框目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground truth bounding box）。不同的模型使用的区域采样方法可能不同。这里我们介

偏移量

宽高

ide

目标检测

ios

原创 2021-08-06 09:52:35 274 阅读

图像分类案例2

Kaggle上的狗品种识别（ImageNet Dogs）在本节中，我们将解决Kaggle竞赛中的犬种识别挑战，比赛的网址是https://www.kaggle.com/c/dog breed identification 在这项比赛中，我们尝试确定120种不同的狗。该比赛中使用的数据集实际上是著名

数据集

数据

ide

2d

目录结构

原创 2021-08-06 09:49:52 437 阅读

DCGAN

Deep Convolutional Generative Adversarial Networks we introduced the basic ideas behind how GANs work. We showed that they can draw samples from some

ide

2d

sed

qt

原创 2021-08-06 09:49:50 53 阅读

生成对抗网络

Generative Adversarial Networks Throughout most of this book, we have talked about how to make predictions. In some form or another, we used deep neur

sed

ide

scala

qt

原创 2021-08-06 09:49:49 223 阅读

图像风格迁移

样式迁移如果你是一位摄影爱好者，也许接触过滤镜。它能改变照片的颜色样式，从而使风景照更加锐利或者令人像更加美白。但一个滤镜通常只能改变照片的某个方面。如果要照片达到理想中的样式，经常需要尝试大量不同的组合，其复杂程度不亚于模型调参。在本节中，我们将介绍如何使用卷积神经网络自动将某图像中的样式应用

损失函数

卷积

初始化

卷积神经网络

迭代

原创 2021-08-06 09:49:23 643 阅读

pytoch的最佳打开方式

从张量（tensor）开始张量是个抽象的概念，它是数据的容器，通过几个例子来理解吧。 0维张量/标量:标量是一个数字 1维张量/向量:1维张量称为“向量” 2维张量:2维张量称为矩阵张量可以有任意的维度定义张量 tensor([[1., 1.], [1., 1.], [1., 1.], [

数据

神经网络

标量

数据划分

损失函数

原创 2021-08-06 09:49:08 310 阅读

线性回归

线性回归主要内容包括： 1. 线性回归的基本要素 2. 线性回归模型从零开始的实现 3. 线性回归模型使用pytorch的简洁实现线性回归的基本要素模型为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回

损失函数

线性回归

数据集

数据

迭代

原创 2021-08-06 09:44:23 232 阅读

softmax和分类模型

softmax和分类模型内容包含： 1. softmax回归的基本概念 2. 如何获取Fashion MNIST数据集和读取数据 3. softmax回归模型的从零开始实现，实现一个对Fashion MNIST训练集中的图像数据进行分类的模型 4. 使用pytorch重新实现softmax回归模型

数据集

数据

概率分布

图像分类

损失函数

原创 2021-08-06 09:44:21 220 阅读

多层感知机

多层感知机 1. 多层感知机的基本知识 2. 使用多层感知机图像分类的从零开始的实现 3. 使用pytorch的简洁实现多层感知机的基本知识深度学习主要关注多层模型。在这里，我们将以多层感知机（multilayer perceptron，MLP）为例，介绍多层神经网络的概念。隐藏层下图展示了

多层感知机

激活函数

神经网络

线性变换

全连接

原创 2021-08-06 09:44:18 454 阅读

语言模型

语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$的词的序列$w_1, w_2, \ldots, w_T$，语言模型的目标就是评估该序列是否合理，即计算该序列的概率： $$ P(w_1, w_2, \ldots, w_T). $$ 本节我们介绍基于统计的语言模型，主要是$n$

元语法

语言模型

数据

数据集

词频

原创 2021-08-06 09:44:16 192 阅读

文本预处理

文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 1. 读入文本 2. 分词 3. 建立字典，将每个词映射到一个唯一的索引（index） 4. 将文本从词的序列转换为索引的序列，方便输入模型读入文本我们用一部英文小说

预处理

数据

读入文本

字符串转换

语义信息

原创 2021-08-06 09:43:27 1159 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx610badbeb7a24的博客

ModernRNN

Momentum

凸优化

梯度下降

Transformer

机器翻译

过拟合、欠拟合及其解决方案

注意力机制和Seq2seq模型

卷积神经网络基础

leNet

ModernCNN

词嵌入进阶

词嵌入基础

批量归一化和残差网络

文本分类

pytorch 数据操作

pytorch 自动求梯度

模型微调

数据增强

目标检测基础

图像分类案例2

DCGAN

生成对抗网络

图像风格迁移

pytoch的最佳打开方式

线性回归

softmax和分类模型

多层感知机

语言模型

文本预处理