简介
PyTorch中,所有神经网络的核心是 autograd
包。先简单介绍一下这个包,然后训练我们的第一个的神经网络。
autograd
包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run)的框架,这意味着反向传播是根据代码如何运行来决定的,并且每次迭代可以是不同的。
属性 .requires_grad
>>> import torch
>>>
>>> x = torch.ones(2,2,requires_grad=True)
>>> x
tensor([[1., 1.],
[1., 1.]], requires_grad=True)
>>> y = x + 2
>>> y
tensor([[3., 3.],
[3., 3.]], grad_fn=<AddBackward0>)
>>>
对于不理解上面的函数,可以依次点击:torch.ones()
属性 .requires_grad
为 True,
那么它将会追踪对于该张量的所有操作。当完成计算后可以通过调用 .backward()
,来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad
属性。