简介

PyTorch中,所有神经网络的核心是 autograd 包。先简单介绍一下这个包,然后训练我们的第一个的神经网络。

autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run)的框架,这意味着反向传播是根据代码如何运行来决定的,并且每次迭代可以是不同的。

属性 .requires_grad

>>> import torch
>>> 
>>> x = torch.ones(2,2,requires_grad=True)
>>> x
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
>>> y = x + 2
>>> y
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
>>> 

对于不理解上面的函数,可以依次点击:torch.ones()

属性 .requires_grad 为 True,那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward(),来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性。