PyTorch与torch Pytorch与torch相同吗

转载

网线小游侠 2023-06-30 16:49:33

文章标签 PyTorch与torch lua Python python 文章分类 PyTorch 人工智能

pytorch可以说是torch的python版，然后增加了很多新的特性

torch是火炬的意思

PyTorch与torch Pytorch与torch相同吗_lua

上面的对比图来源于官网，官方认为，这两者最大的区别就是Pytorch重新设计了model模型和intermediate中间变量的关系，在Pytorch中所有计算的中间变量都存在于计算图中，所有的model都可以共享中间变量。而在torch中的中间变量则在每一个模块中，想要调用其他模块的参数就必须首先复制这个模块然后再调用，Python有很多特性是lua语言不具备的，Python的debug功能比lua强大很多，所以效率也就提升了

Pytorch与Torch

Pytorch采用python语言接口来实现编程，而torch是采用lua语言。Lua相当于一个小型加强版的C，支持类和面向对象，运行效率极高，与C语言结合“特别默契”，也就是说在Lua中使用C语言非常容易。torch是采用C语言作为底层，然后lua语言为接口的深度学习库。Pytorch也是主要采用C语言为接口，另外除了C语言那还有C++，因为Pytorch吸收结合了caffe2，进行了很多代码合并，现在Pytorch的底层虽然大部分还是C语言，但是接口什么的也逐渐向C++过渡。

目前来看，两者的底层库的C语言部分区别还是不大，尽管Pytorch使用了C++接口，但是由于代码的兼容性，使用torch拓展的底层代码在Pytorch中照样可以编译使用

编写模型

pytorch在编写模型时最大的特点就是利用autograd技术来实现自动求导，不需要我们再去麻烦地写一些反向的计算函数，这点上继承了torch

pytorch中，我们通过继承 nn.Module 设计一个层，然后定义我们平常使用的成员函数： __init__ 和 forward ，这两个函数相比我们都很熟悉，另外 content_hook 是一个hook函数，通常在需要读取中间参数的时候使用：

# 这个层是风格迁移中的内容层
class ContentLoss(nn.Module):

    def __init__(self, target, weight):
        super(ContentLoss, self).__init__()
        self.target = target.detach()
        self.weight = weight
        self.loss = 0

    def forward(self, input):
        self.loss = F.mse_loss(input, self.target) * self.weight
        return input

    # 这个hook通过register_backward_hook后进行绑定才能使用
    # 通过绑定后，这里的函数在这个层进行backward的时候会执行
    # 在里面我们可以自定义一些操作实现其他的功能，比如修改grad_input
    def content_hook(self, module, grad_input, grad_output):
        return grad_input

而在torch中是这样设计的，我们利用lua语言的特定来设计class， __init 和 updateOutput 和上面对应的 __init__ 和 forward 功能相同。其实torch也是有 forward 函数实现，但是由于torch的局限性，不建议直接修改 forward ，我们需要修改 updateOutput 函数来实现forward操作：

local ContentLoss, parent = torch.class('nn.ContentLoss', 'nn.Module')

function ContentLoss:__init(strength, target)
  parent.__init(self)
  self.strength = strength
  self.target = target
  self.loss = 0
  self.crit = nn.MSECriterion()
end

-- 就是得到输入输出output
function ContentLoss:updateOutput(input)
  if input:nElement() == self.target:nElement() then
    self.loss = self.crit:forward(input, self.target) * self.strength
  else
    print('WARNING: Skipping content loss')
  end
  self.output = input
  return self.output
end

-- 这里的函数在backward的时候会执行
function ContentLoss:updateGradInput(input, gradOutput)
  if input:nElement() == self.target:nElement() then
    self.gradInput = self.crit:backward(input, self.target)
  end
  self.gradInput:mul(self.strength)
  self.gradInput:add(gradOutput)
  return self.gradInput
end

通过对比Pytorch和Torch自顶层的设计大概分析了一下两者的区别,其实两者的很多功能函数的操作方式和命名都是类似的：

pytorch

PyTorch与torch Pytorch与torch相同吗_PyTorch与torch_02