在PyTorch中，Tensor.contiguous()方法是一个重要的Tensor操作，用于确保Tensor的内存布局是连续的。这种操作通常在进行某些特定操作后可能需要，因为Tensor的物理内存布局有可能因为某些操作而变得非连续。

Tensor的内存布局

一个Tensor的数据在内存中可以是连续的，也可以是非连续的。连续的内存布局意味着Tensor的元素在内存中是依次存储的，没有间隔。这种布局对于确保某些操作的效率至关重要，因为它允许快速的数据访问和优化的内存处理。

为什么Tensor会变得非连续？

当我们对Tensor执行某些操作，例如 transpose、permute、slice等，返回的新Tensor可能会共享相同的数据，但却有一个不同的视图或步长（stride）。这样的Tensor在逻辑上是连续的，但在物理内存中可能不是连续的。

使用Tensor.contiguous()继续内存调整

当我们试图在这些非连续的Tensor上执行需要连续内存布局的操作，比如使用.view()来改变Tensor的形状时，你可能会遇到错误：

RuntimeError: invalid argument 2: view size is not compatible with input tensor's....

在这种情况下，调用Tensor.contiguous()方法可以重新排列Tensor的数据，使其在内存中连续，然后我们可以安全地执行需要连续内存布局的操作。

Tensor.contiguous()示例

下面是一个示例，说明如何使用Tensor.contiguous()函数：

import torch
 
# 创建一个Tensor
x = torch.tensor([[1, 2, 3], [4, 5, 6]])
# 转置Tensor，使其在内存中非连续
y = x.transpose(0, 1)
 
# 尝试使用.view()会引发错误，因为内存是非连续的
# z = y.view(-1)
 
# 使用.contiguous()来重新排列内存
y_cont = y.contiguous()
# 现在可以安全地使用.view()
z = y_cont.view(-1)
print(z)

在这个例子中，转置操作导致y的内存布局变得非连续。使用Tensor.contiguous()后，我们能够重新安排内存，使其连续，从而顺利地使用.view()来改变Tensor形状。这个操作虽然很有用，但需要注意，它可能会引入额外的内存复制开销。所以，只在必要时使用Tensor.contiguous()是一个好的实践。

参考：

https://deepinout.com/pytorch/pytorch-questions/10_pytorch_what_does_contiguous_do_in_pytorch.html
https://www.cnblogs.com/X1OO/articles/18171700
https://blog.csdn.net/HuanCaoO/article/details/104793667