Google Colaboratory搭建及使用教程
接触过深度学习的都知道GPU对于我们来说意味着着什么(是金钱、是时间、是生命)。听说google提供的Colaboratory可以使用T4GPU,甚至P100GPU。本博主是历经重重险阻,登高、跳远,终于使用上了,本来一度欢欣鼓舞,但事实让我明白资本家的羊毛不是那么容易薅的。
一、前言
1、一切建立在“你懂的”的基础上
国内的网络肯定是使用不了的。想使用你首先需要一个谷歌账号(QQ邮箱APP即可解决),然后有一个完美的网络环境(最近好像有点严,好多用不了了,有需要可以联系一下博主。注:博主不是干这个的)
2、Colab之上有 Colab Pro(有钱T4、P100,没钱K80)
Colab与Colab Po对比
| Colab | Colab Pro |
费用 | Free | $9.99/月 |
GPU类型 | K80 | 随机的T4、P100 ,还可优先使用TPU |
运行时间 | Juypter notebook最长可以运行 12 小时,空闲超时设置比 Colab Pro 严格很多。 | 在 Colab Pro 中,Juypter notebook可以保持连接长达 24 小时 |
内存容量 |
免费版 Colab 不提供高内存偏好设置,也很少向用户自动分配高内存虚拟机。 | Colab Pro可以优先使用高内存虚拟机。这些虚拟机的内存容量和 CPU 数通常是标准 Colab 虚拟机的两倍。可以通过一项notebook设置启用高内存虚拟机。此外,当 Colab 检测到可能需要高内存虚拟机时,有时可能还会自动分配这样的虚拟机。 |
但是免费的K80使用起来还是很香的(逃不过的真香定律)
3、运行速度不是那么理想
代码和数据的存放与运行不在同一位置,可能训练的速度并不是那么理想,时间主要花费在I/O上 。
言归正传,开始正式记录使用过程。
二、使用记录(建议使用Google浏览器)
1、注册登录:
进入Colab的官方网站:https:///notebooks/welcome.ipynb

页面介绍:上部分蓝色区域是功能与设置栏、左办红色区域是目录栏、右下角的绿色区域即为代码编辑栏(Jupyter Notebook既视感)。鼠标放在右上角的“RAM/磁盘”区域,可以显示分配的RAM/磁盘空间大小。
使用:登入Google的账号,就可以使用了。在本页面可以试着运行一些简单代码程序(基于Jupyter Notebook)。
2、选择运行代码的硬件:
点击上方“代码执行程序”->更改运行时类型“”

可以选择运行代码的硬件设备(CPU/GPU/TPU):

3、连接Google Driver
Colab的一大优势就是可以与Google Driver连接在一起,我们在Google Driver上部署的代码可以很方便的在colab上运行,而 Colaboratory写的文件.ipynb也能保存在Google Driver中。
1. 在谷歌云盘创建新文件夹

我在云盘中已创建文件夹"pythonProject"。
2. 在新建文件夹下创建一个新的.ipynb
文件夹下 右键单击>更多> Google Colaboratory创建一个可运行.ipynb。

点击后直接跳转至jupyter notebook编辑界面,可在左上方修改文件名。在谷歌硬盘相应路径下会创建相应文件。

3. 通向"Hello Word"
打印输出"Hello Word"
print('Hello Word')结果:

测试硬件(需要更改运行时类型):
import tensorflow as tf
from tensorflow.python.client import device_lib
print("TF version:", tf.__version__)
print(device_lib.list_local_devices())结果:

查看显卡状态(可执行正常指令,指令前加!即可):
!nvidia-smi结果:

至此,就可以快乐的使用colab愉快地编辑运行我们的python代码了,在下节将介绍如何使用colab运行我们深度学习的代码。
官方使用指南:
https:///notebooks/intro.ipynb
参考
https:///deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
https:///notebooks/welcome.ipynb
















