1. LeNet 和 AlexNet 网络架构2.相比于LeNet，AlexNet 改进在全连接层后面增加了Dropout 用来防止模型过拟合将激活函数由Sigmoid 改为 Relu,以降低梯度消失的概率下采样层由AvgPooling改为MaxPooling3. 模型层设计# 构建模型
net = nn.Sequential(
# 这里，我们使用一个11*11的更大窗口来捕捉对象。
目录一、网络模型1.1 torch.nn.Conv2d() 二维卷积1.1.1参数1.1.2 输入输出 1.2 torch.nn.ReLU() 激活函数1.3 torch.nn.MaxPool2d() 最大池化层1.3.1参数1.3.2 输入输出 1.4 torch.nn.Flatten() & torch.nn.Dropout(
接下来从机器学习最简单的线性模型入手 线性模型就是***给定很多个数据点，希望能够找到一个函数来拟合这些数据点使其误差最小，比如最简单的一元线性模型*** 一般函数表示的形式是： 而也可以用向量的形式表示：f(x)=wTx+b一维线性回归 首先介绍一下，均方误差：使用他们的差值平方之和，（取平方是因为把有正有负的距离都变成正的），有着很好的几何意义，对应了常用的欧几里得距离，基于均方误差最小化来进
转载
2024-06-18 09:07:17
35阅读
摘要
我们考虑的问题是如何设计模型来利用最近引入的近似模型平均技术(dropout)。我们定义了一个简单的新模型maxout(之所以这样命名，是因为它的输出是一组输入的最大值，而且它是dropout的一个自然伙伴)，旨在促进dropout优化和提高dropout的快速近似模型平均技术的准确性。我们通过经验验证模型成功地完成了这两个任务。我们使用maxout和dropout来演示在四个基准数据集上
原创
2021-08-13 09:49:08
155阅读
总结自CS231nTensor: Like a numpy array, but can run on GPUAutograd: Package for building computational graphs out of Tensors, and automatically computing gradientsModule: A neural network layer; may stor
转载
2024-08-09 13:32:41
132阅读
首先长这样：1.关于两种mask1）padding mask在encoder和decoder两个模块里都有padding mask，位置是在softmax之前为什么要使用padding mask，是因为由于encoder和decoder两个模块都会有各自相应的输入，但是输入的句子长度是不一样的，计算attention score会出现偏差，为了保证句子的长度一样所以需要进行填充但是用0填充的位置的
NEGOUT: SUBSTITUTE FOR MAXOUT UNITSMaxout [1] units are well-known and frequently used tools for Deep Neural Networks. For whom does not know, with a ...
转载
2015-10-14 19:46:00
39阅读
神经网络中还有一些激活函数，池化函数，正则化和归一化函数等。需要详细看看，啃一啃吧。。1. 激活函数1.1 激活函数作用 在生物的神经传导中，神经元接受多个神经的输入电位，当电位超过一定值时，该神经元激活，输出一个变换后的神经电位值。而在神经网络的设计中引入了这一概念，来增强神经网络的非线性能力，更好的模拟自然界。所以激活函数的主要目的是为了引入非线性能力，即输出不是输入的线性组合。
激活函数是构成神经元的重要部件之一，它衔接了神经元净输入z和神经元净输出a可以分为以下几种：一、Logistic函数 可以视为一个挤压函数，输出区间[0,1]，输入越小越接近0，输入越大越接近1。连续可导；可以
问题引入在做深度学习的建模时，会接触到很多的激活函数，对于这么一个函数Maxout你知道是什么吗？他的优缺点是啥呢？问题解答Maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST,CIFAR-10,CIFAR-100,SVHN这4个数据上都取得了start-of-art的识别率。Maxout可以看做是在深度学习网络中加入一层激活函数层,
原创
2021-01-29 19:47:03
1326阅读
这一章可能是Andrew Ng讲得最不清楚的一章，为什么这么说呢？这一章主要讲后向传播(Backpropagration, BP)算法，Ng花了一大半的时间在讲如何计算误差项δ，如何计算Δ的矩阵，以及如何用Matlab去实现后向传播，然而最关键的问题——为什么要这么计算？前面计算的这些量到底代表着什么，Ng基本没有讲解，也没有给出数学的推导的例子。所以这次内容我不打算照着公开课的内容去
神经网络中使用激活函数来加入非线性因素，提高模型的表达能力。
ReLU(Rectified Linear Unit,修正线性单元)
形式如下:
ReLU公式近似推导::
下面解释上述公式中的softplus,Noisy ReLU.
softplus函数与ReLU函数接近,但比较平滑, 同ReLU一样是单边抑制,有宽广的接受域(0,+inf), 但是由于指数运算,对数运算计算量大的原因
转载
2018-08-16 08:54:02
1545阅读
第一步：构建用来训练数据的模型#coding：utf-8 -*-
#首先导入相关模块
import tensorflow as tf
from keras import datasets, layers, models
#开始搭建CNN模型
class CNNmodel(object):
def __init__(self):
model = models.Sequential() #创建一
转载
2024-04-16 10:02:29
36阅读
Maxout函数来源于ICML上的一篇文献《Maxout Networks》，它可以理解为是神
原创
2022-04-22 15:55:14
231阅读
摘要本文总结了深度学习领域最常见的10中激活函数（sigmoid、Tanh、ReLU、Leaky ReLU、E
原创
2023-05-23 10:14:04
2814阅读
如何使用PyTorch实现模型
## 引言
PyTorch是一个用于构建深度学习模型的开源框架，它提供了丰富的工具和库，帮助开发者更高效地实现和训练各种深度学习模型。本文将介绍使用PyTorch实现模型的步骤和必要的代码。
## 流程
下面是使用PyTorch实现模型的整个流程：
```mermaid
flowchart TD
A[数据准备] --> B[定义模型]
B
原创
2024-01-15 05:40:41
164阅读
PyTorch学习笔记（13）–现有网络模型的使用及修改 本博文是PyTorch的学习笔记，第13次内容记录，主要介绍如何使用现有的神经网络模型，如何修改现有的网络模型。 目录PyTorch学习笔记（13）--现有网络模型的使用及修改1.现有网络模型2.现有模型的使用2.1VGG16模型的结构2.2修改现有VGG16模型的结构3.学习小结 1.现有网络模型 在现有的torchvisio
转载
2023-09-08 11:34:48
593阅读
针对训练与测试的情况，分别提出了改进方案。
原创
2022-03-21 12:03:00
89阅读
文章目录1.对transformers的简单介绍1.1序列数据的介绍（seq2seq）1.2self-Attention1.3 transformer的完整结构2.transformers在图像分类上的pytorch代码2.1加载cifar10数据集2.2构建transformers模型2.2.1构建图像编码模块 Embeddings2.2.3构建前向传播神经网络模块2.2.4构建编码器的可重复
转载
2023-11-27 06:23:38
975阅读
SuperPoint该论文是 magic leap 公司在18年的一篇工作，而且提供了代码，基于 pytorch 的，不过遗憾的是训练代码和相应的渲染的训练数据没提供。主要思路本文提出了一个自监督的方式去训练网络来提取特征点以及计算描述符。基本流程整体框架整体框架如下图，下面会abc三个步骤分别介绍：特征点提取预训练如果要使用有监督的深度学习方案来解决该问题，不同于其他传统的像分类、检测和分割这样
转载
2023-11-03 09:09:02
811阅读
