关于连接Linux Docker
我们以前使用的是Docker Toolbox,在配置的时候pycharm也是自动填充的是关于Docker Toolbox的信息,看来是对 Docker Toolbox的支持是比较好的。
我们需要了解以下几件事:
1、Docker是无法远程挂载目录的,只能挂载宿主机的目录
2、Pycharm会在连接到"Docker宿主机"后会在宿主机中建立一个/c/User/...目录
3、我们需要用的Pycharm的Deployment功能把我们的工程同步到/c/User..目录中
4、我没有试验其它目录下的工程,不知道会不会创建一个/d/xxx的目录
好了,让我们开始
一、我们准备下
1、在我们宿主机上安装docker,现在docker 也学mysql分了ce和ee版本,安装ce版本就行,centos上需要注意firewall,ubuntu需要15.10版本及以上。
2、安装各种软件
3、设置加速器
4、pull一个基本镜像下来(docker pull ubuntu)
二、设置docker端口
Docker默认是不开启端口的,我们需要在service文件中设置
1、 修改 service文件
不同的Linux系统service的配置文件所在位置不同,我们可以通过systemctl status docker来查看
Ubuntu
Centos
我们需要修改进入.service文件中在/usr/bin/dockerd命令后加上:
-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock
2、 systemctl daemon-reload #重载service文件
systemctl restart docker #重启docker service
3、 查看docker端口
netstat –tulnp | grep docker
好了,我们的docker程序已经监听到了2375端口上了。
Centos要么关防火墙,要么添加端口进去
三、pycharm连接docker
pycharm连接docker使用的是tcp协议,不过http协议也是可以的。
当你填完后先别OK,先apply,pycharm会测试是否连接成功。centos注意防火墙
(除了api_url和name,其它的都是不需要的,这是因为pycharm默认是docker toolbox而自动填充这些值,处女座的同学可以删掉,反正他们不生效,注意那个share是不生效的)
PyCharm设置
用过python的人对pycharm肯定非常熟悉了,能不能在pycharm里使用docker呢?pycharm says-yes!不过,首先你需要一个Professional edition版的pycharm。下面开始设置:
- 保证Docker integration和Python Docker两个插件是开启的
Professional版的pycharm默认是安装了这两个插件,并且是开启的。 - docker配置
在pycharm的设置->build,Execution,Deployment->Docker页面里,点击‘+’号就会出现一个docker设置页面,我们是Linux系统所以我们在Connect to Docker daemon with选项里直接选Unix socket就可以了。如果设置成功会在下方看到Connection successful的提示,如果你跳过了安装docker和MXnet中的第2步,这一步就会有权限不够的错误提示。 -
如果这一步成功了,就可以在pycharm下方看到Docker tool window,这是一个用来管理镜像,容器的可视化工具。 -
在这里可以很方便的启动,停止,添加和删除镜像、容器。也可以查看容器的一些参数。当然也可以使用docker的指令进行这些操作。 - 为你的代码配置镜像里的解释器
其实整篇文章就只为了这一步,只要我们的代码能使用镜像里的python解释器,那就达到了我们的目的了。添加本地解释器大家应该都会。在Professional版的pycharm里有个添加远程解释器。我们就是用这个 - 点击后会出现下边这个对话框
-
我们选择Docker这个选项,此时Server和Python interpreter path已经自动填好,大家不用管它,主要是选择你要使用的镜像。如果你不使用GPU版的镜像,那么其实到了这一步就已经配置好了。
说一下我这里为什么选择tensorflow/tensorflow:latest-gpu镜像,不是已经装好了MXnet了嘛?说多了都是泪啊!MXnet的镜像里并没有吧MXnet安装在python的安装包路径下,而是在根路径下,使用nvidia-docker run -it mxnet/python:gpu bash
指令启动时通过设置PYTHONPATH=/mxnet/python环境变量让python可以使用,但是!当你在pycharm中启动时,这个环境变量是没有设置的。所以import mxnet会不成功。这个问题还是有方法解决的,就是在Edit Configuration里添加环境变量。而且只能在这里添加,别的地方添加不好用,反正我实验的是不行的。 -
使用tensorflow的镜像就不会有这个问题,因为tensorflow是安装在python的的路径下的。所以请大家在接下来也先使用tensorflow作为这次配置的镜像,我们这次的目标是能在GPU上跑,所以用下面的指令下载GPU版的docker pull tensorflow/tensorflow:latest-gpu
- 使用GPU运行你的代码
到这里有人就会发现问题,之前我们装了docker
和nvidia-docker
那pycharm用的是哪一个呢?很不幸的是pycharm使用的是标准的docker
。 那么这就有问题,我们不能使用GPU做运算。如何才能使用GPU呢?
实际上如果我们用的是nvidia-docker1
我们可能还需要安装docker-compose
和nvidia-docker-compose
,很不幸nvidia-docker-compose
不能和nvidia-docker2
兼容,那怎么办?这个连接提供了解决的方法就是吧"default-runtime": "nvidia",
添加到/etc/docker/daemon.json
文件中
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": [ ]
}
}
}
- 接下来是非常关键的一步,也是最白痴的一步,我在这里卡了很久。
重启docker的守护进程
重启docker的守护进程
重启docker的守护进程 sudo pkill -SIGHUP dockerd
由于我的电脑下班后不关机,所以只要我不主动重启docker守护进程,这几天就从没有重启过。这样我们刚刚改的daemon.json文件是不会生效的。所以一直不能使用GPU运算。
四、设置Interpreter
这时候我们就可以设置我们的interpreter了