引言tensorflow介绍tensor张量session会话variable变量tf.get_variable()和tf.Variable()用法tf.get_variable()和tf.Variable()的区别tensorflow和numpy的异同tensorflow代码示例 引言作为深度学习方面比较全面的几个框架之一，相比于Keras、pytorch、caffe等库，TensorFlow
最近在做可以转成pb模型的RNN/LSTM层的实现细节分析。经过一些分析，发现了在Keras里面常见的keras.layers.LSTM和Tensorflow的tf.contrib.rnn.LSTMCell有一些实现上面的区别。本文将立足于Keras和Tensorflow源码，分别搭建两个简单的一层LSTM的神经网络，验证权重的解析顺序及计算逻辑的正确性。Let’s roll~0. 常见的LSTM
转载
2024-03-26 11:16:06
159阅读
LSTM是由每个cell组成的，每个cell里有3个门：输入门、遗忘门、输出门；每个cell有4个前馈网络层，其实就是4个激活函数，分别是σ、σ、tanh、σ；这些前馈网络层里有神经元，即隐藏神经元，每个前馈网络层里的隐藏神经元个数都是相同的，即num_units，也写作hidden_size每个ht的向量维度即为hidden_size当前时刻t的输入是xt，xt的维度是input_size，或i
转载
2024-04-02 10:59:53
48阅读
关于什么是 LSTM 我就不详细阐述了，吴恩达老师视频课里面讲的很好，我大概记录了课上的内容在吴恩达《序列模型》笔记一，网上也有很多写的好的解释多的问题，网上大部分的博客都没有讲清楚 cell 参数的设置，在我看了N多篇文章后终于搞明白了，写出来让大家少走一些弯路吧！ 如上图是一个LSTM的单元，可以应用到多种RNN结构中，常用的应该是 one-to-many 和 many-to-many 下面介
转载
2024-03-26 11:17:54
66阅读
LSTM，全称为长短期记忆网络(Long Short Term Memory networks)，是一种特殊的RNN，能够学习到长期依赖关系。LSTM由Hochreiter & Schmidhuber (1997)提出，许多研究者进行了一系列的工作对其改进并使之发扬光大。 LSTM在解决许多问题上效果非常好，现在被广泛使用。它们主要用于
转载
2024-05-09 15:16:15
83阅读
循环神经网络介绍可以在 this great article 查看循环神经网络(RNN)以及 LSTM 的介绍。语言模型此教程将展示如何在高难度的语言模型中训练循环神经网络。该问题的目标是获得一个能确定语句概率的概率模型。为了做到这一点，通过之前已经给出的词语来预测后面的词语。我们将使用 PTB(Penn Tree Bank) 数据集，这是一种常用来衡量模型的基准，同时它比较小而且训练起来相对快速
翻译
2023-08-03 22:33:16
94阅读
在深度学习中，循环神经网络（RNN）是一系列善于从序列数据中学习的神经网络。由于对长期依赖问题的鲁棒性，长短期记忆（LSTM）是一类已经有实际应用的循环神经网络。现在已有大量关于 LSTM 的文章和文献，其中推荐如下两篇：Goodfellow et.al.《深度学习》一书第十章：http://www.deeplearningbook.org/Chris Olah：理解 LSTM：http://co
转载
2024-08-08 23:36:14
13阅读
TensorFlow 2 中文文档 - RNN LSTM 文本分类TF2.0 TensorFlow 2 / 2.0 中文文档：RNN LSTM 文本分类 Text classification with an RNN主要内容：使用循环神经网络(Recurrent Neural Network, RNN) 分类 影评数据 IMDB循环神经网络(Recurrent Neural Network, RN
转载
2024-08-09 00:01:36
57阅读
引言：最近，一直在看关于时间序列预测这一方面的东西。在这里总结一下：1.时间序列分析常用的模型有AR,MA,ARIMA,以及RNN和LSTM2.大多数预测模型都能做时间序列分析（主要是如何将已知问题转化为带有时间戳的序列问题）3.我们常说的预测我总结出来有两层含义：（1）目前我查资料遇到最多的“预测”：实际上就是做曲线拟合，根据一部分数据进行建模（拟合曲线），然后用另一部分数据对所建的模型进行测试
转载
2024-05-06 12:24:44
36阅读
目录1 短时记忆2 LSTM与基础的RNN对比3 门控4 输入门和遗忘门的典型行为5 LSTM层的使用1 短时记忆在处理较长的句子时，循环神经网络往往只能理解有限长度内的信息，而对于较长范围内的有用信息往往不能很好的利用起来。那么，能不能延长短时记忆，提高记忆力呢？——LSTM2 LSTM与基础的RNN对比与基础的RNN对比，除了有一个状态向量ht,LSTM新增加了一个状态向量
转载
2024-03-21 14:36:06
92阅读
这里不介绍RNN与RNN的特殊情形LSTM，因为内容过多。一、相关函数介绍 1、创建Cell：tf.nn.rnn_cell.BasicRNNCell(num_units)num_units：创建的神经元个数。 2、创建由 RNNCellcell指定的递归神经网络，执行inputs的完全动态展开（即对单个Cell执行动态展开）：tf.nn.dynamic_rnn( cell, i
转载
2024-03-20 20:00:51
140阅读
这里我们解释一下tf.nn.rnn_cell.BasicLSTMCell(), tf.nn.dynamic_rnn()的用法。1 tf.nn.rnn_cell.BasicLSTMCell()__init__(
num_units,
forget_bias=1.0,
state_is_tuple=True,
activation=None,
reuse=Non
前叙：有灵魂的程序都是每一个程序员的最终目标。TensorFlow了解下？打算花几个月学机器学习，TensorFlow是很好的选择，折腾了会环境，略有心得分享下。环境：win10Python：3.6.5TensorFlow-GPU：1.8.0CUDA：9.0cuDNN：7.1.4我们来用最简单的方法安装，首先Python：虽然官网3.7已经出来了，但是Beta版，保险起见用正式版 3.6.5。你看
转载
2023-08-11 09:02:45
161阅读
在构建tensorflow模型过程中，可谓是曲折颇多，一些教程上教会了我们如何使用下载的现成数据集，但却没有提及如何构建自己的数据集。我自己在学习过程中也走了不少弯路，希望这一系列的博客能解决大家的一些困惑。我们本地构建数据集主要是以下几个步骤1.数据处理2.数据增强 3.数据导入4.构建模型5.训练模型这篇先讲一下数据处理的一些操作，后面的步骤会慢慢发出来。1.导入第三方库import
转载
2024-03-15 08:22:41
172阅读
1.LSTM的语言模型简介 LSTM（Long Short Term Memory）,用来处理有时序联系的信息效果非常明显，在很多情况下，卷积神经网络虽然处理图片增加了其空间特征的联系，但是对于图片与图片之间的联系性并不是很强，所以对于视频或者是自然语言处理前后的关联性并不是很好。 对于一些简单的问题，可能只需要最后输入的少量时序信息即可解决问题。但对于复杂问题，可能需要更早的一些信息，甚至是
转载
2024-04-15 15:52:19
8阅读
1.tf.Graph()你一旦开始你的任务，就已经有一个默认的图已经创建好了。而且可以通过调用tf.get_default_graph()来访问到。 添加一个操作到默认的图里面，只要简单的调用一个定义了新操作的函数就行。比如下面的例子展示的： import tensorflow as tf
import numpy as np
c=tf.constant(value=1)
print
转载
2024-04-02 11:03:08
54阅读
1.tf.Graph()你一旦开始你的任务，就已经有一个默认的图已经创建好了。而且可以通过调用tf.get_default_graph()来访问到。 添加一个操作到默认的图里面，只要简单的调用一个定义了新操作的函数就行。比如下面的例子展示的：import tensorflow as tf
import numpy as np
c=tf.constant(value=1)
print(c
转载
2023-10-13 15:13:40
89阅读
# 如何从 PyTorch 导入 LSTM：解决时间序列预测问题
在今天的数据驱动时代，时间序列预测已经成为许多行业中不可或缺的工具。无论是在金融、气象、还是健康领域，能够有效预测未来趋势的能力都可以带来巨大的商业价值。其中，LSTM（长短期记忆网络）是一种非常流行的深度学习模型，它被广泛应用于时间序列数据的预测。本文将介绍如何使用 PyTorch 导入和构建 LSTM，解决一个实际的时间序列预
原创
2024-08-05 08:47:40
76阅读
softmax是在一个n分类问题中，输入一个n维的logits向量，输出一个n维概率向量，其物理意义是logits代表的物体属于各类的概率。即softmax的输出是一个n维的one_hot_prediction。
softmax_cross_entropy_with_logits输出的是一个batch_size维的向量，这个向量的每一维表示每一个sample的one_hot_label和one_h
转载
2024-06-20 18:49:42
38阅读
#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Thu Oct 25 13:41:35 2018@author: lg"""import numpy as npimport pandas as pdimport tensorflow as tfimport tensorflow.contrib.rnn as rnnimport
原创
2023-01-13 06:00:47
201阅读
