自编码（Auto-encoders）1、什么是自编码自编码神经网络是一种无监督的学习算法，可学到输入数据的高效表示。输入数据的这一高效表示称为编码（codings），其维度一般小于输入数据，使得自编码用于降维；自编码器还可作为强大的特征检测器（feature detectors），应用于深度神经网络的预训练。此外，自编码器还可以随机生成与训练数据类似的数据，这被称为生成模型（generative
转载
2024-01-11 23:56:05
71阅读
机器翻译是目前NLP和deep learning结合的研究热点以及未来的研究发展方向，这篇文章转载介绍了基于RNN(recurrent neural network)的四种解码序列模型，模型背景介绍：1.基于RNN的序列化编码，hidden layer序列编码生成的编码向量是整个序列隐层编码进行求和平均的方式得到序列的编码向量，优点：该模型可以做的事情是主题分类、情感检测等等分类任务，通过在编码向
转载
2023-10-09 20:34:57
71阅读
视频中的特征简介在讲具体实现之前我们先说一下关于视频样本特征的提取： 视频的主要特征包括：时间空间特征和运动特征 时间特征就是视频中帧随着时间的变化的特征而空间特征就是视频中每一帧的RGB特征，也就是我们做2D图片分类时提取的特征。对于时空特征我们可以采用3D卷积直接提取，或者采用LSTM+2D卷积提取（也就是我们本次提到的方法），因为LSTM可以提取时间特征而2D卷积可以提取RGB的空间特征，而
转载
2023-11-13 06:36:41
94阅读
一.转换思想1.转换思想（化归、变换、转变...）思想：简单地说，是把一个事物变成另一个事物，比如将一个复杂问题变成等价一个简单问题、将一个商品变为等价的商品等。而在深度学习中的转换思想体现在模型上。 2.神经网络（1）从感知机到复杂的模型，无论怎样变换，本质都是模型，是数学表达式，是数据的映射变换，也是特征的转换。（2）神经网络的训练学习是指学习变换的参数，也就是转换的规律3.神经网络
转载
2023-09-25 17:12:29
103阅读
在基于词语的语言模型中，我们使用了循环神经网络。它的输入是一段不定长的序列，输出却是定长的，例如一个词语。然而，很多问题的输出也是不定长的序列。以机器翻译为例，输入是可以是英语的一段话，输出可以是法语的一段话，输入和输出皆不定长，例如英语：They are watching.法语：Ils regardent.当输入输出都是不定长序列时，我们可以使用编码器—解码器（enc
转载
2024-01-22 15:49:12
105阅读
one-hot向量与word2vec one-hot向量1.1 one-hot编码 什么是one-hot编码？one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图： 上图中我们已经对每个特征进行了普通的数字编码：我们的
转载
2024-04-16 11:27:06
96阅读
分类：输入图片，得到相应的标签 定位：输入图片，输出相应框的信息：（x,y,w,h）对应的分别是图片的位置（左上角）以及框的大小 检测：在定位中，一般只有一个或一种对象，当在检测中可能会有多个或多种对象。 我们一般IoU（intersection of union，两目标交集占据两目标并集的百分比）来判断我们的定位的精确度，IoU越大，说明结果和目标越接近。 在定位中，采用滑动窗口（Slidi
转载
2023-11-14 03:08:51
90阅读
Attention是一种机制，旨在提高编码器-解码器RNN在机器翻译上的性能。Encoder-Decoder Model该模型由两个子模型组成：编码器和解码器。编码器：编码器负责逐步执行输入时间步长，并将整个序列编码为称为上下文向量的固定长度向量。解码器：解码器负责在从上下文向量中读取时逐步完成输出时间步长。我们提出了一种新颖的神经网络体系结构，该体系结构学习将可变长度序列编码为固定长度向量表示形
转载
2024-01-28 01:11:01
96阅读
在上一篇神经网络代码实现流程中，加载数据返回了三组数据：训练集，测试集，验证集．加载数据后，需要对神经网络代码的类进行实例化。 以下讲解，神经网络代码类的实现： 在类中，首先，在Network类的构造函数中，由实例化时传入的参数定义了神经网络的层数，每层的神经元个数，并利用随机函数对每层的神经元权重以及偏置进行初始化。def __init__(self, sizes):
sel
转载
2023-12-17 07:31:08
46阅读
一、自编码网络自编码，又称自编码器(autoencoder)，也是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器内部有隐藏层，通过编码和解码来还原输入数据。该网络可以看作由两部分组成：一个函数h=f(x)表示编码器和一个解码器r=g(h)。自编码器是一个3层或大于3层的神经网络，它的作用是将输入样本压缩到隐藏层，然后解压，在输出端还原输入样本。最终输出层神经元数量等于输入层神经元数量。
转载
2024-01-21 00:45:26
100阅读
1.编码器—解码器（seq2seq） 编码器的作用是把一个不定长的输入序列变换成一个定长的背景变量c，并在该背景变量中编码输入序列信息。常用的编码器是循环神经网络。 编码器可以是一个单向的循环神经网络，每个时间步
转载
2023-08-08 12:32:17
364阅读
参考：https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/22.md
https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/23.md由于之前有了解CNN，该文章将跳过大部分细节，仅供本人记录学习过程用卷积神经网络Convolutional N
转载
2023-11-03 08:52:55
110阅读
1.算法描述最近在做AutoEncoder的一些探索，看到2016年的一篇论文，虽然不是最新的，但是思路和方法值得学习。论文有感于t-SNE算法的t-分布，先假设初始化K个聚类中心，然后数据距离中心的距离满足t-分布，可以用下面的公式表示: 其中 i表示第i样本,j表示第j个聚类中心, z表示原始特征分布经过Encoder之后的表征空间。$q_{ij}$可以解释为样本i属于聚类j的概率，
转载
2023-10-07 22:02:33
94阅读
cnn_layers.py实现卷积神经网络的前向后传播的函数。#-*- coding: utf-8 -*-
import numpy as np
from layers import *
from bn_layers import *
def conv_forward_naive(x, w, b, conv_param):
"""
卷积前向传播。
Input:
转载
2023-08-08 13:37:40
105阅读
背景： RNN（Recurrent Neural Networks），被国内翻译为循环神经网络，或者递归神经网络，窃以为这两种表述都不合理，应该称为：(深度)同参时序神经网络（下文展开讲述）。 RNN公式（来自：pytorch rnn）：\begin{align} h_t &=tanh(W_{ih}x_t+b_{ih}+W_{hh}h_{
转载
2024-01-16 16:40:53
77阅读
深度神经网络的组稀疏正则化 (翻译)Group Sparse Regularization for Deep Neural NetworksScardapane S, Comminiello D, Hussain A, et al摘要：在本论文中，我们考虑同时进行以下优化任务：深度神经网络的权重、隐层神经元的数量以及输入特征选择。虽然这三个问题通常被分开处理，但我们提出了一个简单的正则化公式，能够
转载
2023-12-05 09:03:22
113阅读
更新记录：2018年2月5日 初始文章版本 近几天需要进行英语手写体识别，查阅了很多资料，但是大多数资料都是针对MNIST数据集的，并且主要识别手写数字。为了满足实际的英文手写识别需求，需要从训练集构造到神经网络搭建各个方面对现有代码进行修改。神经网络的结构：1.输入28*28=784维行向量2.卷积层：卷积核大小5*5，共32个，激活函数ReLu3.池化层：最大值池化，2*2窗口4.卷
转载
2023-10-06 15:17:33
71阅读
主要参考资料是Stanford 教授 Andrew Ng 的 Deep Learning 教程讲义：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。这个讲义已经有人翻译了（赞一个），可以参见邓侃。另外，博客园里有一个前辈关于讲义中练习的一系列文章，在具体实现时可以参照下：Sparse Autoencoder
转载
2023-10-30 23:08:01
37阅读
自动编码器（Auto Encode）什么是自动编码器1.1 Auto Encoder1.2 Deep Auto Encoder（DAE）1.3 利用keras实现DAE[^1]1.4 取DAE隐层向量[^1]1.5 参考文献其他类型的AE2.1 去噪自动编码器（denoising auto encode）2.2 堆叠去噪自动编码器（Stacked Denoising Auto Encoder，S
转载
2023-08-08 11:05:39
508阅读
神经网络是建立在数学的基础上进行计算的，因此对数字更敏感，不管是什么样的特征数据都需要以向量的形式喂入神经网络，无论是图片、文本、音频、视频都是一样。one-hot编码，也就是独热编码，是一种常用的编码手段。在多分类识别的时候，喂入神经网络的标签就是独热码，比如手写数字识别一共有10个分类，某张图片标签是6，则独热码为：0 0 0 0 0 0 1 0 0 0 下面演示将一个单词进行ont
转载
2023-12-27 18:23:52
49阅读
