pytorch计算图像的熵 pytorch查看计算图

计算图与动态图机制

文章目录

• 计算图与动态图机制

• 1. 计算图
• 2. Pytorch的动态图

1. 计算图

• 计算图是用来描述运算的有向无环图
• 计算图有两个主要元素：结点（Node）和边（Edge）
• 结点表示数据，如向量，矩阵，张量。边表示运算，如加减乘除卷积等
• 用计算图表示：$y = (x + w) * (w + 1)$

• 将原来的计算拆分成$a = x + w 和 b = w + 1, y = a * b$

• 采用运算法的优势是令梯度的计算更加方便，下面来看一下y对w求导的过程。

• y对w求导一共包含两项内容，分别是y对a求导和y对b求导。

• 叶子节点：用户创建的节点称为叶子节点，如x与w。

• is_leaf：指示张量是否为叶子结点

• 
  
  之所以引入叶子结点的概念，主要作用是节省内存，因为在梯度反向传播之后，非叶子结点的梯度会被释放。

w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)

    a = torch.add(w, x) # 可以通过retain_grad()来保存相应结点的梯度
    a.retain_grad()
    b = torch.add(w, 1)
    y = torch.mul(a, b)

    y.backward()
    print(w.grad)

    # 查看叶子结点：
    print('is_leaf:\n', w.is_leaf, x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)

    # 查看梯度：
    print('gradient:\n', w.grad, x.grad, a.grad, b.grad, y.grad) # a的梯度通过retain_grad()保存下来

执行结果如下，这里可以通过在反向传播之前，执行retain_grad()操作保存下来相应结点的梯度

tensor([5.])
is_leaf:
 True True False False False
gradient:
 tensor([5.]) tensor([2.]) tensor([2.]) None None

• Tensor的另一个重要属性，grad_fn：记录创建该张量时所用的方法（函数）

• y.grad_fn =
• a.grad_fn =
• b.grad_fn =

2. Pytorch的动态图

根据计算图搭建方式的不同，可将计算图分为动态图和静态图

• 动态图

• 运算与搭建同时进行，典型代表是pytorch
• 特点：灵活、易调节

• 先创建原始数据，之后执行第一个乘法操作，然后再执行另一个乘法操作，之后执行加法操作，接着执行一个激活函数，最后计算一个loss，有了loss之后，执行梯度反向传播。

• 静态图

• 先搭建图，后运算，典型代表TensorFlow
• 特点：高效、不灵活
  tensor存进去之后，无法改变tensor的流动方向