Deep Learning的常用模型或者方法1、AutoEncoder自动编码器Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码器就是一
转载
2023-08-11 14:07:31
80阅读
前置知识：自编码器入门前段时间在改论文的过程中，审稿人给出了关于使用对抗自编码器算法的建议——2020.2以上算是序自编码器（autoencoder）是一种无监督学习神经网络基本定义本质上来说，自编码器是一种所谓”生成模型“，也就是根据给定的数据集去学习数据的分布函数，然后通过调整神经网络的参数使输出和原数据集尽量一致。一般的，自编码器的原型是一个单隐层的神经网络 从输入层到隐层的过程可以理解为一
转载
2023-08-14 16:23:26
208阅读
目录自编码器与变分自编码器自编码器变分自编码器变分自编码器原理变分自编码器的损失函数图变分自编码器定义回顾图变分自编码器EncoderDecoder图变分自编码器的损失函数图对抗生成网络对抗生成网络图对抗生成网络 GraphGAN 自编码器与变分自编码器自编码器自编码器即 Auto Encoders，简称 AE，假设存在一个神经网络： 容易发现，该神经网络的输入与输出维度相同，隐藏层的张量维度远
转载
2023-10-15 08:00:40
162阅读
一、 AE(AutoEncoder)参考AutoEncoder1.1 自编码器简单模型介绍自编码器可以理解为一个试图去 还原其原始输入的系统。自动编码模型主要由编码器和解码器组成，其主要目的是将输入x转换成中间变量y，然后再将中间变量y转换成x’，然后对比输入和输出，使得他们两个无限接近。1.2 神经网络自编码器模型在深度学习中，自动编码器是一种 无监督 的 神经网络 模型，它可以学习到输入数据的
转载
2023-11-01 23:51:30
1391阅读
卷积神经网络在几个主流的神经网络开源架构上面都有实现，我这里不是想实现一个自己的架构，主要是通过分析一个最简单的卷积神经网络实现代码，来达到进一步的加深理解卷积神经网络的目的．笔者在github上找到了一个十分简单的卷积神经网络python的代码实现：具体的怎么使用这里就不用说了，这里都有介绍，我只是分析一下这个代码的实现过程并解析代码，梳理一下神经网络是怎么使用的和构造原理．一般的神经网络主要包
转载
2023-07-20 14:41:54
83阅读
视频中的特征简介在讲具体实现之前我们先说一下关于视频样本特征的提取： 视频的主要特征包括：时间空间特征和运动特征 时间特征就是视频中帧随着时间的变化的特征而空间特征就是视频中每一帧的RGB特征，也就是我们做2D图片分类时提取的特征。对于时空特征我们可以采用3D卷积直接提取，或者采用LSTM+2D卷积提取（也就是我们本次提到的方法），因为LSTM可以提取时间特征而2D卷积可以提取RGB的空间特征，而
转载
2023-11-13 06:36:41
94阅读
require 'nn'; #在torch中使用nn包来构建神经网络
net = nn.Sequential() #是个容器，下面解释
net:add(nn.SpatialConvolution(1, 6, 5, 5)) -- 1 input image channel, 6 output channels, 5x5 convolution kernel
卷积运算：1个输入通道，6个输出通道，5
转载
2023-10-13 00:15:24
108阅读
什么是自编码器（Autoencoder）自动编码器是一种数据的压缩算法，其中数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。在大部分提到自动编码器的场合，压缩和解压缩的函数是通过神经网络实现的。压缩与解压 假设刚刚那个神经网络是这样, 对应上刚刚的图片, 可以看出图片其实是经过了压缩,再解压的这一道工序. 当压缩的时候, 原有的图
转载
2023-11-21 13:21:34
114阅读
本文会首先介绍神经网络机器翻译(Neural Machine Translation )技术的原理，再介绍如何使用 TensorFlow NMT 训练一个中英翻译引擎。 一、Encoder -- Decoder模型的原理Encoder-Decoder 模型是使用神经网络进行机器翻译的基本方法，一般也称作 Seq2Seq 模型 。原始的 N VS N RNN结构要求输入序列和输出序列等长，
转载
2023-10-11 22:25:22
49阅读
引言 在深度学习十分火热的今天，不时会涌现出各种新型的人工神经网络，想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写（如：DCIGN、BiLSTM、DCGAN……还有哪些？)，就已经让人招架不住了。因此，这里整理出一份清单来梳理所有这些架构。其中大部分是人工神经网络，也有一些完全不同的怪物。尽管所有这些架构都各不相同、功能独特，当我在画它们的节点图时……其中潜在的
转载
2023-11-18 14:56:44
380阅读
Seq2Seq 模型 Encoder-Decoder Attention 机制 Self-Attention 自注意力机制 Transformer摘文不一定和目录相关，但是取自该链接1. Seq2Seq 模型详解https://baijiahao.baidu.com/s?id=1650496167914890612&wfr=spider&for=pcSeq2Seq 是一种循环神经网
转载
2023-10-30 23:00:20
95阅读
1.基本功能
自编码器最大的特点是输入与输出的节点数是一致的，其功能并不是进行分类或者是回归预测，而是将原始数据转换为一种特殊的特征表示方式，在训练的过程中，依然采用反向传播算法进行参数优化，目标函数为使输出与输入之间的误差最小化。
基本功能如图，如图所示，普通神经网络是训练类别（或者离散值）与输入之间的映射关系，而Auto
转载
2023-07-12 11:52:09
0阅读
文章中参考的内容都用超链接标注出。 文章目录1. Autoencoders (AE)2. Deep belief networks (DBN）3. Convolutional neural networks (CNN)4 Recurrent neural networks (RNN)5. Long /-short term memory (LSTM)6. Support vector machin
转载
2024-01-27 13:51:58
53阅读
文章目录序言Encoder-Decoder模型原理应用范围局限性注意力机制（Attention）模型原理原理图示自注意力 （self-attention）原理介绍图示讲解keras代码简单实现多头attention（Multi-head attention）attention优缺点位置嵌入（Position Embedding） 序言 机器翻译是指使用机器将一种语言自动翻译成另外一种语言的技术，
转载
2023-07-31 20:14:13
139阅读
4.1 网络的前馈方式–深度前馈神经网络（Deep FeedForward Neural Network） 前馈神经网络中具有代表行的样例是多层感知机（Multilayers Perception，MLP）4.2 全连接 （1）神经元与全连接结构 （2）前向传播算法###MPL--linear
import tensorflow as tf
x=tf.constant([0.9,0.85],sha
转载
2023-10-11 09:11:33
116阅读
这个教程的目的是为了让你熟悉使用CNTK组件来进行分类任务，如果你看了本系列的逻辑回归部分或者熟悉机器学习，可以跳过介绍部分。介绍（见上期，本期略）前馈神经网络模型本次使用的数据集和上期逻辑回归教程使用的数据集一样，不过这期的模型会结合多个逻辑回归分类器，一次形成的分类边界就会比较复杂，而不是简单的线性模型，下图是我们的神经网络：一个前馈神经网络是神经元之间不存在回路连接的人工神经网络，是神经网络
转载
2024-04-07 20:49:58
52阅读
七、激活函数的使用 通过之前的学习我们都了解到了激活函数的作用，现在我们将会讲解一下激活函数在不同的神经网络中的应用： 1、首先是sigmoid 函数： a=11+e−z 它的图像可以表示为： 但是这个激活函数多使用在二分分类输出的神经网络，因为需要寻找1和0值，所以在一般的神经网络中我们很少使用这个激活函数。对应的导数为： g′(z)=a(1−a) 这为后面的计算节省了很多时间。 2
转载
2024-01-10 20:01:43
186阅读
卷积神经网络一、卷积神经网络与BP网络（传统前馈神经网络）相比具有以下特点：（1）、采取局部连接（稀疏连接），减少了所需参数； （2）、可直接处理二维数据，故常被用于图片处理操作； （3）、具有三个基本层——卷积层、池化层、全连接层：卷积层CNN算法常用于图片处理，其中卷积层是通过多个卷积核对输入的图片像素矩阵进行局部连接，通过权值共享与卷积的方式进行图片的特征提取得到特征映射数据。（所以卷积核又
转载
2023-09-15 15:36:43
439阅读
人工神经网络——前馈神经网络——多层神经网络——CNN、DNN、DBN。CNN（卷积神经网络）CNN、RNN、LSTM等各种神经网络都是基于FCNN（全连接神经网络）出发的，最基础的原理都是由反向传播而来。反向传播示意图：神经网络的训练是有监督的学习，也就是输入X 有着与之对应的真实值Y ，神经网络的输出Y 与真实值Y 之间的损失Loss 就是网络反向传播的东西。整个网络的训练过程就是不断缩小损失
转载
2023-09-21 08:21:18
902阅读
AI领域是一个非常交叉的领域，涉及很多技术：数学、软体、硬件和，尤其还有硬件环节，不过一切来源或输入的入口一般有三个：一个是图像识别和处理是其中一个非常重要的环节，一个是自然语言处理，还有一个就是借口输入。一、这是一个python卷积神经网络的代码（开源）：https://github.com/yangshun2005/CNN_sentence 二、下面是一些基本公式，以备忘：写CNN的
转载
2023-08-10 17:29:39
390阅读
