PyTorch作为深度学习框架的明星产品,目前,不论是在学术界,还是工业界,受到众多学者的青睐。为什么选择PyTorch呢?一方面是因为工作上的需要;另一方面,也是最重要的,喜欢PyTorch的设计。笔者在研究生阶段就从事了NLP方面的研究,期间也学习了其他的深度学习框架Tensorflow、Keras、Theano。对比之后,发现在简洁性、速度、易用性方面,PyTorch都具有很大的优势,这也是一个好的产品应该具备的特性。
简洁性:相比于Tensorflow而言,PyTorch在设计时,少了很多新的名词,在Tensorflow里面,为大多数人所诟病,如session、graph、name_scope、operation、variable、layer等繁琐的概念,混乱的api不方便我们的研究工作,而在AI领域,python作为主流的AI编程语言,tensorflow的设计与python的简洁优雅是相悖的,这也是最终我抛弃tensorflow的一个主要原因。再来看看PyTorch,从名字上来看,就可以分析出,是pythonic的,而其设计遵循tensor→variable(autograd)→nn.Module三个由低到高的抽象层次,分别代表张量、变量、神经网络,并且这三个紧密联系,更加契合深度学习的特色,代码清晰,易于阅读和理解。
速度:Huggingface的一名工程师进行过模型推理的实验测试,PyTorch的平均推理时间为0.748s,而Tensorflow的平均推理时间为0.823s,由此可见,PyTorch快于Tensorflow,而且,同一个算法,使用PyTorch相比Tensorflow,更易写出高质量代码。
易用性:PyTorch是pythonic的,说它是所有的框架中面向对象设计最优雅的,一点也不为过。PyTorch的面向对象的接口设计来源于Torch,而Torch的接口设计以灵活著称,Keras也是受Torch启发而来的。PyTorch的设计也最符合人们的思维,可以让用户专注于实现自己的想法,而无需关注太多非必要的复杂语法,即所思即所得。
社区:社区非常活跃,从最开始的落后于Tensorflow,到目前用户已经和Tensorflow几乎持平,甚至超越,而且微软公司和元宇宙公司(前身为Facebook)均对PyTorch提供了强力支持。目前各类深度学习问题的研究成果都有PyTorch的开源实现,对于前沿算法的研究,也均以PyTorch作为首选。PyTorch的动态计算图机制也必然是未来深度学习框架技术发展的趋势。