Pytorch reshape，view与张量连续性
文章目录
- Pytorch reshape，view与张量连续性
- reshape
- view
- 对比
reshape
reshape操作是在PyTorch中用来改变张量形状的一种方法，但在使用时需要确保张量是连续的（即内存中的数据是连续排列的）。如果张量在内存中是非连续的，直接使用reshape可能会得到错误的结果或者运行时错误。
在PyTorch中，一个张量的数据连续性可以通过调用.is_contiguous()方法来检查。如果一个张量是连续的，那么可以直接使用reshape来改变其形状。如果一个张量是非连续的，可以通过调用.contiguous()方法来获取一个连续的张量副本，然后对这个连续的副本执行reshape操作。
数据连续性的概念是基于内存布局的。在多维数组中，如果在内存中逐元素地行进时，能够遵循数组的索引顺序，则称这个数组是连续的。在多维情况下，通常有更复杂的内存布局策略，如行优先存储（C风格）和列优先存储（Fortran风格）。PyTorch默认采用行优先存储。
举个例子说明如何确保数据的连续性：
import torch
# 创建一个非连续的张量
x = torch.randn(3, 4)
x_t = x.t() # 转置操作，会导致x_t成为非连续的张量
print(x_t.is_contiguous()) # 检查是否连续，输出：False
# 尝试reshape非连续的张量
try:
x_t_reshaped = x_t.reshape(12) # 尝试reshape到一维
except RuntimeError as e:
print(e) # 这将抛出一个错误，因为x_t不是连续的
# 使用.contiguous()方法确保连续性
x_t_contiguous = x_t.contiguous() # 获取连续的张量
x_t_reshaped = x_t_contiguous.reshape(12) # 现在可以安全地reshape了
print(x_t_reshaped) # 成功reshape到一维这里，.t()操作创建了一个非连续的张量副本（因为转置改变了数据的物理布局，但不实际移动数据），直接对其使用reshape会失败。通过使用.contiguous()可以首先获得一个连续的张量副本，然后就可以安全地使用reshape了。
总之，确保数据连续性是进行reshape操作前的一个重要步骤，这可以通过.is_contiguous()来检查连续性，通过.contiguous()来确保张量是连续的。
view
使用view方法改变PyTorch张量的形状需要满足以下条件：
- 数据连续性：
view操作要求原始张量在内存中是连续的。如果张量经过了某些操作（如：transpose,permute,narrow等）导致它变得不连续，直接使用view可能会抛出错误。这时，你需要先调用.contiguous()方法来使张量连续。 - 形状兼容性：你想要
view到的新形状必须与原始张量的元素总数兼容。这意味着原始张量和目标形状的元素数量必须完全相同。例如，如果原始张量的形状是(4, 5)，即总共有20个元素，那么新的形状可能是(2, 10),(10, 2),(20, )等，因为它们的元素总数都是20。尝试变更到元素数量不匹配的形状会导致运行时错误。
简而言之，使用view需要确保：
- 张量在内存中是连续的（或通过
.contiguous()方法变为连续）。 - 目标形状的元素总数与原始张量的元素总数相同。
这些条件确保了view操作能够无需复制数据（即实现零拷贝），仅仅通过改变张量的形状视图来实现形状的变换。如果这些条件未能满足，就需要采取额外的步骤（如调用.contiguous()）或改用其他方法（如reshape）。
对比
view操作是
PyTorch中用来改变张量形状的另一种方法，和reshape操作非常相似。它们之间的主要区别在于处理非连续张量时的行为。
- reshape：当你想要改变一个张量的形状时，如果原始张量是非连续的，
reshape方法会首先尝试返回一个与原始张量共享数据的视图。如果无法做到（因为原始数据是非连续的），它会隐式地复制原始张量到一个连续的张量中，然后返回这个连续张量的视图。 - view：
view要求原始张量在内存中是连续的（或者在保持数据顺序不变的前提下可以被重新解释为目标形状）。如果原始张量是非连续的，直接调用view方法会抛出错误。如果你想要使用view方法，但不确定张量是否连续，你需要先调用.contiguous()使张量连续。
因此，如果你确定原始张量是连续的，或者你已经确保了张量的连续性（例如，通过调用.contiguous()），view是一个高效的选择来改变张量形状，因为它避免了可能的数据复制。但如果你不关心是否进行了数据复制，或者你的张量可能是非连续的，使用reshape可能更安全，因为它能自动处理非连续张量。
使用view替换reshape的例子如下：
import torch
x = torch.randn(3, 4)
x_t = x.t() # 转置，使其非连续
print(x_t.is_contiguous()) # False，非连续
# 将非连续张量变为连续
x_t_contiguous = x_t.contiguous()
x_t_viewed = x_t_contiguous.view(12) # 此时可以使用view方法
print(x_t_viewed)
# 或者，连续的情况下直接使用view
x_contiguous = x.contiguous() # 对于本例，x已经是连续的，这步实际上不是必须的
x_viewed = x_contiguous.view(12) # 直接对x使用view方法
print(x_viewed)在这个例子中，尽管x本来就是连续的，我们通过一系列的操作示范了如何确保使用view之前张量是连续的。对于x_t（经过转置的张量），由于它是非连续的，我们首先调用.contiguous()来获取连续的数据，然后使用view改变形状。
