训练 架构 OneFlow 训练框架

常用深度学习框架

2018.09.13

深度学习研究的热潮持续高涨，各种开源深度学习框架也层出不穷，其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon等。我们参考开源的测试结果，结合自己整理的数据，针对主流的深度学习框架进行简单对比及介绍。

框架	机构	支持语言	Stars	Forks
Caffe	BVLC	C++/Python/Matlab	25480	15560
CNTK	Microsoft	C++	15083	4020
Keras	Fchollet	Python	33332	12563
Tensorflow	Google	Python/C++/Go…	109115	67339
MXNet	DMLC	Python/C++/R…	15162	5484
PyTorch	Facebook	Python	18517	4426

性能对比

1. 训练时间: Network DenseNet-121 (Multi-GPU)

运行于 SSD 硬盘

框架	1xV100/CUDA 9/CuDNN 7	4xV100/CUDA 9/CuDNN 7
Pytorch	27min	10min
Keras(TF)	38min	18min
Tensorflow	33min	22min
MXNet(Gluon)	29min	10min

运行于RAM内存中

框架	1xV100/CUDA 9/CuDNN 7	4xV100/CUDA 9/CuDNN 7
Pytorch	25min	8min
Keras(TF)	36min	15min
Tensorflow	25min	14min
MXNet(Gluon)	28min	8min

2. 1000张图片推理时间(s): Network ResNet-50

框架	K80/CUDA 8/CuDNN 6	P100/CUDA 8/CuDNN 6
CNTK	8.5	1.6
Keras(TF)	10.2	2.9
Tensorflow	6.5	1.8
MXNet	7.7	1.6
PyTorch	7.7	1.9

3. CPU推理时间(s): E5-2630v4, Network FCN5

框架	1 Thread	2 Threads	4 Threads	8 Threads	16 Threads	32 Threads
Caffe	1887.2ms	1316.7ms	1051.8ms	952.1ms	952.3ms	834.7ms
CNTK	1238.7ms	616.3ms	352.7ms	229.5ms	155.9ms	192.4ms
Tensorflow	992.2ms	773.6ms	419.3ms	252.3ms	149.7ms	124.7ms
MXNet	1386.8ms	915.5ms	559.0ms	499.1ms	416.3ms	413.9ms

框架评价

框架	安装成本	代码理解程度	API丰富程度	模型丰富程度	文档完整程度	训练与测过程	学习资源
CNTK	良好	良好	良好	良好	优秀	良好	良好
Keras	良好	良好	优秀	优秀	良好	优秀	良好
MXNet	良好	良好	良好	良好	良好	优秀	优秀
Pytorch	优秀	优秀	良好	良好	优秀	良好	良好
Tensorflow	良好	良好	优秀	优秀	优秀	优秀	优秀
Caffe	良好	优秀	良好	良好	优秀	良好	优秀

推荐框架

目前众多的深度学习框架，使用者只要选择适合自己的框架即可，我们在日常使用中，考虑到训练的快捷程度，部署难度以及对CNN、RNN模型的直接程度，推荐以下几款深度学习框架。

1.Keras

Keras 提供了简单易用的 API 接口，入门快，特别适合初学者入门。其后端采用 TensorFlow, CNTK，以及 Theano。另外，Deeplearning4j 的 Python 也是基于 Keras 实现的。Keras 几乎已经成了 Python 神经网络的接口标准。

2.TensorFlow

谷歌出品，追随者众多。代码质量高，支持模型丰富，支持语言多样， TensorBoard 可视化工具使用方便。

3.MXNet

已被亚马逊选为 AWS 上的深度学习框架，支持动态图计算。MXNet 有许多中国开发者，因而有非常良好的中文文档支持。Gluon 接口使得 MXNet 像 Keras 一样简单易用。

参考资料

1. 香港浸会大学深度学习框架Benchmark
2. DeepLearningFrameworks
3. 博客
4. 开发者如何选择深度学习框架?