这两天进入rnn实操阶段。
首先学习了MNIST手写数字图片数据。
60000张训练图片，被保存成idx3-ubyte格式。
数据结构分为三部分（从头开始）：
第一部分
4bytes：magic number（可以理解成文件名）
第二部分：图片像素和数量
4bytes：number of images
4bytes：number of rows（图片的行像素数）
4bytes：number of
转载
2024-10-13 00:27:25
54阅读
在深度学习中，循环神经网络（RNN）是一系列善于从序列数据中学习的神经网络。由于对长期依赖问题的鲁棒性，长短期记忆（LSTM）是一类已经有实际应用的循环神经网络。现在已有大量关于 LSTM 的文章和文献，其中推荐如下两篇：Goodfellow et.al.《深度学习》一书第十章：http://www.deeplearningbook.org/Chris Olah：理解 LSTM：http://co
转载
2024-08-08 23:36:14
13阅读
LSTM是由每个cell组成的，每个cell里有3个门：输入门、遗忘门、输出门；每个cell有4个前馈网络层，其实就是4个激活函数，分别是σ、σ、tanh、σ；这些前馈网络层里有神经元，即隐藏神经元，每个前馈网络层里的隐藏神经元个数都是相同的，即num_units，也写作hidden_size每个ht的向量维度即为hidden_size当前时刻t的输入是xt，xt的维度是input_size，或i
转载
2024-04-02 10:59:53
48阅读
一些参数训练的话一般一批一批训练，即让batch_size 个句子同时训练；每个句子的单词个数为num_steps，由于句子长度就是时间长度，因此用num_steps代表句子长度。在NLP问题中，我们用词向量表示一个单词（一个数基本不能表示一个词，大家应该都知道的吧，可以去了解下词向量），我们设定词向量的长度为wordvec_size。LSTM结构中是一个神经网络，即下图的结构就是一个LSTM单元
转载
2024-03-26 11:23:41
98阅读
最近在做可以转成pb模型的RNN/LSTM层的实现细节分析。经过一些分析，发现了在Keras里面常见的keras.layers.LSTM和Tensorflow的tf.contrib.rnn.LSTMCell有一些实现上面的区别。本文将立足于Keras和Tensorflow源码，分别搭建两个简单的一层LSTM的神经网络，验证权重的解析顺序及计算逻辑的正确性。Let’s roll~0. 常见的LSTM
转载
2024-03-26 11:16:06
159阅读
这里不介绍RNN与RNN的特殊情形LSTM，因为内容过多。一、相关函数介绍 1、创建Cell：tf.nn.rnn_cell.BasicRNNCell(num_units)num_units：创建的神经元个数。 2、创建由 RNNCellcell指定的递归神经网络，执行inputs的完全动态展开（即对单个Cell执行动态展开）：tf.nn.dynamic_rnn( cell, i
转载
2024-03-20 20:00:51
140阅读
目录1 短时记忆2 LSTM与基础的RNN对比3 门控4 输入门和遗忘门的典型行为5 LSTM层的使用1 短时记忆在处理较长的句子时，循环神经网络往往只能理解有限长度内的信息，而对于较长范围内的有用信息往往不能很好的利用起来。那么，能不能延长短时记忆，提高记忆力呢？——LSTM2 LSTM与基础的RNN对比与基础的RNN对比，除了有一个状态向量ht,LSTM新增加了一个状态向量
转载
2024-03-21 14:36:06
92阅读
1.tf.Graph()你一旦开始你的任务，就已经有一个默认的图已经创建好了。而且可以通过调用tf.get_default_graph()来访问到。 添加一个操作到默认的图里面，只要简单的调用一个定义了新操作的函数就行。比如下面的例子展示的： import tensorflow as tf
import numpy as np
c=tf.constant(value=1)
print
转载
2024-04-02 11:03:08
54阅读
关于什么是 LSTM 我就不详细阐述了，吴恩达老师视频课里面讲的很好，我大概记录了课上的内容在吴恩达《序列模型》笔记一，网上也有很多写的好的解释多的问题，网上大部分的博客都没有讲清楚 cell 参数的设置，在我看了N多篇文章后终于搞明白了，写出来让大家少走一些弯路吧！ 如上图是一个LSTM的单元，可以应用到多种RNN结构中，常用的应该是 one-to-many 和 many-to-many 下面介
转载
2024-03-26 11:17:54
66阅读
WaveNet 是生成原始音频波形的深层生成模型。这项突破性的技术已经被 Google DeepMind 引入（https://deepmind.com/blog/generate-mode-raw-audio/），用于教授如何与计算机对话。结果确实令人惊讶，在网上你可以找到合成声音的例子，电脑学习如何用名人的声音与人们谈话。 所以，你可能想知道为什么学习合成音频是如此困难。听到的每个数
循环神经网络介绍可以在 this great article 查看循环神经网络(RNN)以及 LSTM 的介绍。语言模型此教程将展示如何在高难度的语言模型中训练循环神经网络。该问题的目标是获得一个能确定语句概率的概率模型。为了做到这一点，通过之前已经给出的词语来预测后面的词语。我们将使用 PTB(Penn Tree Bank) 数据集，这是一种常用来衡量模型的基准，同时它比较小而且训练起来相对快速
翻译
2023-08-03 22:33:16
94阅读
TensorFlow 2 中文文档 - RNN LSTM 文本分类TF2.0 TensorFlow 2 / 2.0 中文文档：RNN LSTM 文本分类 Text classification with an RNN主要内容：使用循环神经网络(Recurrent Neural Network, RNN) 分类 影评数据 IMDB循环神经网络(Recurrent Neural Network, RN
转载
2024-08-09 00:01:36
57阅读
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #this is data mnist = input_data.read_data_sets("MNIST_data",one_ho
原创
2021-08-25 14:47:18
162阅读
文章目录
使用LSTM对PM2.5进行2步预测
1.项目简介2.导入所需库3.导入数据4.数据清洗4.1缺失值处理4.2分类数据处理4.3构造数据集4.4拆分数据集4.5数据标准化5.建模5.1构造模型5.2训练模型5.3结果评估
使用LSTM对PM2.5进行2步预测
1.项目简介该项目的目标为：使用前1天24小时内影响PM2.5的相关因素数据，对第
转载
2024-10-28 17:12:08
56阅读
这里我们解释一下tf.nn.rnn_cell.BasicLSTMCell(), tf.nn.dynamic_rnn()的用法。1 tf.nn.rnn_cell.BasicLSTMCell()__init__(
num_units,
forget_bias=1.0,
state_is_tuple=True,
activation=None,
reuse=Non
1.tf.Graph()你一旦开始你的任务，就已经有一个默认的图已经创建好了。而且可以通过调用tf.get_default_graph()来访问到。 添加一个操作到默认的图里面，只要简单的调用一个定义了新操作的函数就行。比如下面的例子展示的：import tensorflow as tf
import numpy as np
c=tf.constant(value=1)
print(c
转载
2023-10-13 15:13:40
89阅读
1.LSTM的语言模型简介 LSTM（Long Short Term Memory）,用来处理有时序联系的信息效果非常明显，在很多情况下，卷积神经网络虽然处理图片增加了其空间特征的联系，但是对于图片与图片之间的联系性并不是很强，所以对于视频或者是自然语言处理前后的关联性并不是很好。 对于一些简单的问题，可能只需要最后输入的少量时序信息即可解决问题。但对于复杂问题，可能需要更早的一些信息，甚至是
转载
2024-04-15 15:52:19
8阅读
lstm里，多层之间传递的是输出ht ，同一层内传递的细胞状态（即隐层状态）看pytorch官网对应的参数nn.lstm(*args，**kwargs)，默认传参就是官网文档的列出的列表传过去。对于后面有默认值（官网在参数解释第一句就有if啥的，一般传参就要带赋值号了。）官网案例对应的就是前三个。input_size，hidden_size，num_layersParmerters:input_s
转载
2023-08-26 17:02:38
147阅读
softmax是在一个n分类问题中，输入一个n维的logits向量，输出一个n维概率向量，其物理意义是logits代表的物体属于各类的概率。即softmax的输出是一个n维的one_hot_prediction。
softmax_cross_entropy_with_logits输出的是一个batch_size维的向量，这个向量的每一维表示每一个sample的one_hot_label和one_h
转载
2024-06-20 18:49:42
38阅读
分布式tensorflow就是多台服务器参加一个tensorflow图的分布式执行，分布式我感觉就是原来在一台计算机上面运行好几个进程这些进程交互是由OS控制的，而分布式就是把这些进程放在了不同的机器上面运行，他们之间的交互是由分布式框架控制的，实际分布式的核心或者说基本点还是运行的进程。一提到分布式就会有客服端进程和服务端进程概念，TensorFlow 的分布式集群由多个服务器进程和客户端进程组
