内置序列类型概览按照可否存储不同数据类型来分，可以分为容序列和扁平序列。容器序列list, tuple, collections.deque 这些序列类型可以容纳不同类型的数据。扁平序列str, bytes, bytearray, memoryview, array.array 这类序列只能容纳一种类型的数据按照是否可变可以分为可变序列和不可变序列。可变序列list, bytesarray, ar
转载
2024-05-10 12:49:27
34阅读
# 使用PyTorch处理变长序列的指南
在深度学习中，我们常常需要处理变长序列，例如自然语言处理（NLP）中的文本数据。在处理这些数据时，我们通常会使用PyTorch这一个强大的深度学习框架。本文将指导你通过一系列步骤实现变长序列的处理。
## 流程概述
首先，让我们概述一下处理变长序列的流程。以下是一个简要的步骤表格：
| 步骤 | 描述
1. 什么是 JIT？JIT 是一种概念，全称是 Just In Time Compilation，中文译为「即时编译」，是一种程序优化的方法。在深度学习中 JIT 的思想更是随处可见，最明显的例子就是 Keras 框架的 model.compile，TensorFlow 中的 Graph 也是一种 JIT，虽然他没有显示调用编译方法。2. TorchScript动态图模型通过牺牲一些高级特性来换
转载
2023-08-13 20:59:15
130阅读
主要是用函数torch.nn.utils.rnn.PackedSequence()和torch.nn.utils.rnn.pack_padded_sequence()以及torch.nn.utils.rnn.pad_packed_sequence()来进行的,分别来看看这三个函数的用法。1、torch.nn.utils.rnn.PackedSequence()NOTE： 这个类的实例不能手动创建。
转载
2024-01-08 18:05:18
128阅读
一开始写这篇随笔的时候还没有了解到 Dateloader有一个 collate_fn 的参数，通过定义一个collate_fn 函数，其实很多batch补齐到当前batch最长的操作可以放在collate_fn 里面去，这样代码在训练和模型中就可以更加简洁。有时间再整理一下这个吧。_______________________________________
转载
2024-03-04 16:54:18
74阅读
基于pytorch框架的自定义LSTM结构
pytorch自定义LSTM结构（附代码）有时我们可能会需要修改LSTM的结构，比如用分段线性函数替代非线性函数，这篇博客主要写如何用pytorch自定义一个LSTM结构，并在IMDB数据集上搭建了一个单层反向的LSTM网络，验证了自定义LSTM结构的功能。@目录pytorch自定义LSTM结构（附代码）一、整
转载
2023-07-31 21:36:56
312阅读
在处理序列数据集时，有时会遇到变长度的样本。此时因为尺寸不一致，无法直接利用pytorch中dataloader的默认加载方式（沿着批维度直接Stack）。处理这种数据集，一种办法是可以事先记录每个样本的长度，并把所有的数据集样本补全至最长的样本长度，这样所有样本长度一致，可以直接加载。但是会有一个问题，就是例如在使用RNN建模时，这些padding的0值会对模型造成额外影响pytorch中通过函
转载
2023-11-08 22:22:13
120阅读
需要用到的模块和函数 import torch
import torch.nn as nn
from torch.nn.utils.rnn import pad_sequence
from torch.nn.utils.rnn import pack_sequence
from torch.nn.utils.rnn import pad_packed_sequence
from torch.nn
如何基于Keras和Tensorflow用LSTM进行时间序列预测编者按：本文将介绍如何基于Keras和Tensorflow，用LSTM进行时间序列预测。文章数据来自股票市场数据集，目标是提供股票价格的动量指标。GitHub：github.com/jaungiers/LSTM-Neural-Network-for-Time-Series-Prediction什么是LSTM？自提出后，传统神经网络架
一、BPR算法的原理：1、贝叶斯个性化排序(BPR)算法小结
2、Bayesian Personalized Ranking 算法解析及Python实现
二、算法中的注意点根据完整性和反对称性，优化目标的第一部分\[\prod_{u \in U}P(>_u|\theta) = \prod_{(u,i,j) \in (U \times I \times I)}P(i >_u j|\the
在这篇博文中，我将与大家分享如何使用 PyTorch 实现 CNN 时间序列分类的过程。这不仅涵盖了环境配置、编译过程、参数调优、定制开发，还包括错误集锦和生态集成的相关内容。整个内容将引导你从配置环境到实现和优化模型。
## 环境配置
在开始项目之前，首先要确保我们有一个合适的环境。以下是我为此项目配置的环境要求：
1. **操作系统**：Ubuntu 20.04
2. **Python
在学习某个深度学习框架时，掌握其基本知识和接口固然重要，但如何合理组织代码，使得代码具有良好的可读性和可扩展性也必不可少。本文不会深入讲解过多知识性的东西，更多的则是传授一些经验，关于如何使得自己的程序更pythonic，更符合pytorch的设计理念。这些内容可能有些争议，因其受我个人喜好和coding风格影响较大，你可以将这部分当成是一种参考或提议，而不是作为必须遵循的准则。归根到底，都是希望
转载
2024-06-10 11:11:09
93阅读
这是一个造轮子的过程，但是从头构建LSTM能够使我们对体系结构进行更加了解，并将我们的研究带入下一个层次。 LSTM单元是递归神经网络深度学习研究领域中最有趣的结构之一：它不仅使模型能够从长序列中学习，而且还为长、短期记忆创建了一个数值抽象，可以在需要时相互替换。 在这篇文章中，我们不仅将介绍LSTM单元的体系结构，还将通过PyTorch手工实现它。 最后但最不重要的是，我们将展示如何对我们的实现
转载
2024-08-09 00:01:20
116阅读
最近在使用Keras和Pytorch处理时间序列数据，在变长数据的输入处理上踩了很多坑。一般的通用做法都需要先将一个batch中的所有序列padding到同一长度，然后需要在网络训练时屏蔽掉padding的值。在pytorch和keras中都有各自对padding值的处理，简单做一下总结。Keras使用Masking层Keras中自带的屏蔽padding值的方式，在网络结构比较简单时使用很方便。
转载
2023-12-27 15:44:29
111阅读
Tensorflow中包含类，函数和模块，不同的模块负责不同的功能，部分会有重复，下面就是对Tensorflow模块的梳理。(主要看的是pyCharm）中可调用的模块。#!/usr/bin/env python
# -*- coding:utf-8 -*-
__author__ = 'Abel'
import tensorflow as tf
#tens
转载
2024-10-30 06:24:07
31阅读
前言最近在由 TensorFlow 迁移至 Pytorch， 不得不说，真的香啊。 在写模型的时候发现 Pytorch 中处理变长序列与 TensorFlow 有很大的不同， 因此此处谈谈我自己的理解。 此外， 我对 LSTM, GRU 进行了二次加工， 将对变长序列的处理封装到内部细节中，感兴趣的可以看看：NLP-Pytorch从 LSTM 谈起[1]首先， 注意到这里LSTM的计算公式
转载
2023-12-27 08:07:33
29阅读
数据与学习过程来源于：《时间序列分析-基于R》(第二版)【M】王燕 中国人民大学出版社数据为1948-1981年美国女性(20岁以上)月度失业率序列一、概念 时间序列，简单来说就说一系列与时间有关系的序列。它按照一定时间间隔收集，在统计研究中，常用按时间顺序排列的一组随机变量X1,X2...Xt来表示一个随机事件的时间序列，用x1,x2,...,xt表示该随机序列的n个有序观察值，也称
转载
2023-10-08 09:20:20
198阅读
多元时间序列预测的时间模式注意题目：Temporal Pattern Attention for Multivariate Time Series Forecasting作者：Shun-Yao Shih, Fan-Keng Sun, Hung-yi Lee来源：Machine Learning (cs.LG)Submitted on 12 Sep 2018 (v1), last revised 2
转载
2024-04-08 10:37:53
160阅读
论文标题： OMNI-SCALE CNNS: A SIMPLE AND EFFECTIVE KERNEL SIZE CONFIGURATION FOR TIME SERIES CLASSIFICATION 论文链接： https://openreview.net/forum?id=PDYs7Z2XFGv 代码链接： https://github.com/Wensi-Tang/OS-CNN摘要感受野
转载
2023-11-26 23:41:17
324阅读
1.Encoder-Decoder模型及RNN的实现所谓encoder-decoder模型，又叫做编码-解码模型。这是一种应用于seq2seq问题的模型。那么seq2seq又是什么呢？简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提
转载
2024-07-25 13:59:06
47阅读
