CAE(Convolutional Auto-Encode) 卷积自编码 （deeplearning-toolbox中的CAE），对于这个深度学习的网络的的解释很少。下面谈一下自己的认识，算是总结吧CAE(Convolutional Auto-Encode) 卷积自编码 :一种卷积自编码器，其实现的过程与Auto-Encode的思想是一致的都是使用的是先编码在解码，比较解码的数据与原始的数据的差异
转载
2024-03-19 13:50:01
68阅读
一、group（群卷积）group（群卷积）的思想最早出现于Alexnet论文：ImageNet Classification with Deep Convolutional Neural Networks，Alex之所以使用群卷积是因为受当时GTX580 GPU现存的限制，不能使用一块GPU训练网络，所以其将网络拆分为两组分别使用1个GPU训练。如下所示为一个常规的卷积操作 假设输入特
参考：1）pytorch实现自由的数据读取－torch.utils.data的学习、2）pytorch源码分析之torch.utils.data.Dataset类和torch.utils.data.DataLoader类、3）PyTorch源码解读之torch.utils.data.DataLoader目录： torch.utils.data主要包括以下三个类：torch.utils.data.D
转载
2024-04-19 11:57:02
99阅读
文章目录前言一、卷积网络的核心概念1.核心特点2.卷积原理3.卷积如何去优化二、关于参数调优1.优化器2.激活函数3.过度拟合4.超参数的调整总结 前言一段时间的学习总结的一点经验和自己的一部分理解。一、卷积网络的核心概念1.核心特点卷积网络的核心特点：卷积+池化的架构。 而且卷积的方式是有选择性的局部链接2.卷积原理卷积网络是通过卷积层中的过滤器用卷积计算图像的核心特征进行抽取。从而提高图像处
这是一篇将attention机制应用到graph convolution中的文章。但是文章中提出的模型其实是利用了attention的一部分思想，而不是和处理sequence的模型应用的attention机制是不完全一样的。处理sequence的模型引入的attention机制可以分为两类，一类是在输入sequence本身上计算attention的intertext情形；另一类是另外有一个用来计算
转载
2024-09-06 10:44:59
44阅读
文章目录为什么使用卷积卷积常规卷积的应用CNN作用pytorch实现 为什么使用卷积 对于一个3层隐藏层的全连接来识别手写体图片（28*28），内存消耗1.6MB，对于当时来说过于庞大（16K内存） 借助生物学的概念，注重感兴趣的地方，称之为感受野，看到的区域也是图片中的一个小块。提出了卷积神经网络的概念，卷积也就是指局部的相关性。权重减少为原来的1/6。卷积一个共享权值的小滑块再图片上移动，对
转载
2024-03-19 13:53:42
98阅读
一、CriticCritic的作用：Critic就是一个神经网络，以状态 Critic的作用就是衡量一个Actor在某State状态下的优劣。Given an actor π, it evaluates the how good the actor is。Critic本身不能决定要采取哪一个Action。A critic does not determine the action.An actor
开宗明义：attention就是一个加权机制，但是权重需要经过训练得到。感觉有些情况就是代替了concat然后过模型的场景，优势是更小、参数更少。 本文介绍一些我自己整理的常见attention类型。本文不关注别的博文里已经写烂了的attention机制的重要性和直觉解释（又不是写论文还要写introduction）。 multi-head attention也不在本文赘述。 文章目录1. att
目录2D卷积3D卷积1*1卷积空间可分离卷积（separable convolution）深度可分离卷积（depthwise separable convolution）分组卷积（Group convolution）扩张卷积（空洞卷积 Dilated Convolutions）反卷积（转置卷积 Transposed Convolutions）octave convolution
转载
2024-08-01 16:05:50
67阅读
目录Attention前言Encoder-DecoderAttention机制sele-attention机制decoder总结Attention的三大优点**中心思想：通过加权求和，context上下文理解。** Attention前言Attention即权重 翻译为例 games是游戏，但是综合2022 beijing winter 就翻译为比赛，不不不，应该是冬奥会。Encoder-Deco
转载
2024-05-02 11:28:36
42阅读
机器学习知识点相关总结（一）——基础机器学习知识点相关总结（二）——决策树相关机器学习知识点相关总结（三）——LR相关机器学习知识点相关总结（四）——SVM相关机器学习知识点相关总结（五）——CNN相关机器学习知识点相关总结（六）——RNN,LSTM相关机器学习知识点相关总结（七）——k-means相关1.卷积层个数计算方式，CNN参数量计算，卷积计算复杂度，如果一个CNN网络的输入channel
转载
2024-03-31 06:38:53
79阅读
通俗理解卷积的概念：卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。先解释一下什么是加权：通俗点就举列子把,统计学认为，在统计中计算平均数等指标时，对各个变量值具有权衡轻重作用的数值就称为权数． 还是举个例子吧 求下列数串的平均数3、4、3、3、3、2、4、4、3、3、
一般求法为（3＋4＋3＋3＋3＋2＋4＋4＋3＋3）／10＝3．2
加权求法为（6＊3
转载
2024-03-26 09:26:42
62阅读
卷积神经网络作为深度学习的典型网络，在图像处理和计算机视觉等多个领域都取得了很好的效果。为了简单起见，本文仅探讨二维卷积结构。卷积首先，定义下卷积层的结构参数。△ 卷积核为3、步幅为1和带有边界扩充的二维卷积结构卷积核大小（Kernel Size）：定义了卷积操作的感受野。在二维卷积中，通常设置为3，即卷积核大小为3×3。步幅（Stride）：定义了卷积核遍历图像时的步幅大小。其默认值通
转载
2024-06-02 09:22:11
167阅读
使用金字塔卷积 LSTM 进行光流估计的无监督学习论文原文请看这里摘要 当前大多数基于卷积神经网络 (CNN) 的光流估计方法都侧重于在具有真实值的合成数据集上学习光流，这是不切实际的。 在本文中，我们提出了一种名为 PCLNet 的无监督光流估计框架。 它使用具有相邻帧重建约束的 pyramid Convolution LSTM (ConvLSTM)，可以灵活地估计来自任何视频剪辑的多帧光流。
模型的存储与加载TF的API提供了两种方式来存储和加载模型: 1.生成检查点文件，扩展名.ckpt,通过在tf.train.Saver()对象上调用Saver.save()生成。包含权重和其他在程序中定义的变量，不包含图结构。 2.生成图协议文件，扩展名.pb，用tf.train.write_graph()保存，只包含图形结构，不包含权重，然后使用tf.import_graph_def()来加载图
一、权重衰退（Weight_decay）正则限制针对模型训练时出现的过拟合问题，限制模型容量是一种很好的解决方法，目前常用的方法有以下两种：缩小模型参数量，例如降低模型层数，使得模型更加轻量化，正则化通过限制参数值的选择范围来控制模型容量，正则化：
使用均方范数作为硬性限制，即对于参数 ，假设其损失函数为 ，则其优化目标为 在上述约束中通常不对 进行约束，因为 是针对 点的偏移，且在实际中，
在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。本文目录：1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5.标准化欧氏距离6.马氏距离7.夹角余弦8.汉明距离9.杰
在 PyTorch 中，我们可以使用 torch.save 函数将模型或张量保存到文件中，使用 torch.load 函数从文件中加载模型或张量。具体用法如下：保存模型import torch
# 定义模型
model = ...
# 保存模型
torch.save(model.state_dict(), 'model.pth')在上面的代码中，我们使用 model
转载
2024-04-23 10:48:47
124阅读
PyTorch框架学习十九——模型加载与保存一、序列化与反序列化二、PyTorch中的序列化与反序列化1.torch.save2.torch.load三、模型的保存1.方法一：保存整个Module2.方法二：仅保存模型参数四、模型的加载1.加载整个模型2.仅加载模型参数五、断点续训练1.断点续训练的模型保存2.断点续训练的模型加载 距离上次的学习笔记时隔了正好一个月。。。下面继续！其实深度学习的
演员-评论家算法(Actor-Critic Algorithm)是一种结合策略梯度和时序差分学习的强化学习方法，其中：演员(Actor)是指策略函数 ，即学习一个策略来得到尽量高的回报。评论家(Critic)是指值函数 ，对当前策略的值函数进行估计，即评估演员的好坏。借助于值函数，演员-评论家算法可以进行单步更新参数，不需要等到回合结束才进行更新。Actor-Critic 算法又可以根据更新策略的
转载
2024-10-16 10:02:44
49阅读
