docker安装activemq的版本 docker安装anaconda

环境配置操作指南

环境配置操作指南

1 前言

这是一个python环境安装配置指南，包括了不同环境下的Anacode安装配置、docker安装配置，以及免费环境的推荐使用方法。

2 Anaconda安装

2.1 Window安装anaconda

• 下载anaconda 官网下载地址：https://www.anaconda.com/download/

如果网速比较慢，可以通过网盘获取链接: https://pan.baidu.com/s/18ZcJzl96CA1DizQizIc_uA 提取码: r2mu

国内源下载 国内的 Anaconda 源很多，我比较推荐的有 清华源、中科大源。

例如使用清华源， 下载 Anaconda https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.02-Windows-x86_64.exe）

• 运行exe文件，默认下一步。

• 安装完成后，可以通过anaconda navigator，直接运行jupyter notebook。

2.2 Linux安装anaconda

• 下载 Anaconda 在Anaconda官网下载，比较费时：https://www.anaconda.com/download/

在清华大学开源软件镜像站下载：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。

• 安装 Anaconda 打开terminal，打开下载文件的位置，运行 .sh 文件：

bash Anaconda3-5.2.0-Linux-x86_64.sh

进入注册信息页面，输入yes，yes,enter，默认下一步，至完成。

其中提示信息“Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]”，输入no；

• 重启终端，即可使用Anaconda3；
• 若在终端输入 python，仍然会显示Ubuntu自带的python版本，我们执行：

sudo gedit ~/.bashrc
export PATH="/home/xupp/anaconda3/bin:$PATH"
source ~/.bashrc

  修改终端的默认 python 为 anaconda，至此全部完成。

3 Docker安装

docker已经兼容了各种主流操作系统，Linux，MAC和Windows。Docker是开发人员和系统管理员开发、部署和运行带有容器的应用程序的平台。是一种基于容器实现虚拟化技术的一种平台或技术。

3.1 Window安装Docker

3.1.1 开启虚拟化

确保任务管理器->性能->虚拟化为启动状态。

3.1.2 docker-toolbox和boot2docker下载

• 方法一：官网下载

docker-toolbox：https://get.daocloud.io/toolbox/

Boot2docker（寻找上面对应的版本进行下载）：https://github.com/boot2docker/boot2docker/releases/tag/v19.03.1

若无法使用默认VirtualBox，则下载最新的VirtualBox（下载链接为： https://download.virtualbox.org/virtualbox/6.0.14/VirtualBox-6.0.14-133895-Win.exe），按默认设置完成安装。

• 方法二：百度云盘下载：

链接：https://pan.baidu.com/s/1ZZquT-m8oYIdjcyOvcT7MQ

提取码：y178

3.1.3 安装

• 双击docker-toolbox

• 一路默认，安装完成后桌面出现以下三个图标：

• 双击Docker Quickstart Terminal 出现以下问题，缺少boot2docker，双击Docker Quickstart Terminal时会自动下载，但因为网络原因下载会比较慢而报错，这时候可以将二中的Boot2docker直接拷贝到以下路径中。

注意：要运行Docker Quickstart Terminal后才能出现上图显示的路径。

• 再次打开Docker Quickstart Terminal 出现小鲸鱼，则启动成功。

3.2 Linux安装Docker

以Ubuntu18.04举例：

• 安装Docker

sudo apt-get update

• 安装依赖包

sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common

• 添加 Docker 的官方 GPG 密钥

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

• 验证您现在是否拥有带有指纹的密钥

sudo apt-key fingerprint 0EBFCD88

• 设置稳定版仓库

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

• 安装 Docker Engine-Community

sudo apt-get update

• 安装最新的Docker-ce

sudo apt-get install docker-ce

• 启动

sudo systemctl enable docker
sudo systemctl start docker

• 测试

sudo docker run hello-world

3.3 docker的使用

• Docker image
  创建工作目录和空Dockerfile:

mkdir docker-data-science
cd docker-data-science
touch Dockerfile

Here is our Dockerfile:

# We will use Ubuntu for our image
FROM ubuntu
# Updating Ubuntu packages
RUN apt-get update && yes|apt-get upgrade
# Adding wget and bzip2
RUN apt-get install -y wget bzip2
# Anaconda installing
RUN wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh
RUN bash Anaconda3-5.0.1-Linux-x86_64.sh -b
RUN rm Anaconda3-5.0.1-Linux-x86_64.sh
# Set path to conda
ENV PATH /root/anaconda3/bin:$PATH
# Updating Anaconda packages
RUN conda update conda
RUN conda update anaconda
RUN conda update --all
# Configuring access to Jupyter
RUN mkdir /opt/notebooks
RUN jupyter notebook --generate-config --allow-root
RUN echo "c.NotebookApp.password = u'sha1:6a3f528eec40:6e896b6e4828f525a6e20e5411cd1c8075d68619'" >> /root/.jupyter/jupyter_notebook_config.py
# Jupyter listens port: 8888
EXPOSE 8888
# Run Jupytewr notebook as Docker main process
CMD ["jupyter", "notebook", "--allow-root", "--notebook-dir=/opt/notebooks", "--ip='*'", "--port=8888", "--no-browser"]

创建 image，下载并安装anaconda：

docker build -t docker-data-science .

查看建立的image：

docker images

docker run --name docker-data-science -p 8888:8888 -v "$PWD/notebooks:/opt/notebooks" -d docker-data-science

在该路径下打开jupyter，打开http://localhost:8888/

结束：

docker rm -f docker-data-science

Github

git init
    echo "notebooks" > .gitignore
    git add .
    git commit -m "first commit"

    git remote add origin https://github.com/evheniy/docker-data-science.git
    git push -u origin master

    git clone https://github.com/evheniy/docker-data-science.git

Docker hub

docker login
    # Make a new tag:
    docker tag docker-data-science evheniy/docker-data-science
    # push image:
    docker push evheniy/docker-data-science
    # pull image:
    docker pull evheniy/docker-data-science

3.4 安装常见问题

电脑win10家庭版，安装失败：出现错误"Docker Desktop requires Windows 10 Pro or Enterprise version 14393 to run."。

这也涉及到了另外一种安装方式：利用Windows的Hyper-v虚拟化技术，直接在Windows上安装docker（先开启Hyper-v，但Hyper-v与vmware workstation不兼容，后期想运行vmware workstation时还需要禁用Hyper-v，所以暂不推荐该方法）。需要尝试的童鞋下载链接（https://download.docker.com/win/stable/Docker%20Desktop%20Installer.exe）

原因：win10必须为教育版或专业版参考，win7也会报同样的错误。

处理方式：需要利用docker toolbox来安装docker

4 免费环境推荐

4.1 Google colab 使用指南

Google Colaboratory是谷歌提供的基于linux系统的免费云平台，内部已经集成了深度学习所需要的库，比如Tensorflow（目前Version：2.2.0rc3）和Keras（目前Version: 2.3.1）等，一般情况下无需我们再做配置，直接上传自己代码就能用了。

• 注册好账号后，进入网址：https://drive.google.com/drive/my-drive
• 新建创建notebook：

• 设置加速器为GPU加速，大家可以在工具栏找到修改-->笔记本设置-->硬件加速器-->选择GPU，这样就可以在后面使用GPU加速啦。
• 装载自己的Google云端硬盘 -用以后面加载我们放在云盘中的文件。方法：侧边栏-->文件-->装载Google云端硬盘。

• 输入Linux命令时需要加上“！”，例如：

!pip install psutil

!pip install tqdm

!pip install lightgbm

!pip install numpy

!pip install pandas

4.2 Kaggle notebook 使用指南

• 登陆https://www.kaggle.com/
• 点击My profile->Kernels
• 新建一个notebook 导入对应的数据集，选择使用GPU，就可以运行代码了。

5 KDD比赛安装

Step1: 国内同学替换清华源

Anaconda 镜像使用帮助 mac/linux/windows用户：按照清华提供的教程替换.condarc文件即可. 不要忘记 conda clean -i

Step2: 创建Anaconda虚拟环境

conda create -n kdd python=3.6
    conda activate kdd

Step3: 安装所需的包

pip install psutil
    pip install tqdm
    pip install lightgbm  
    pip install numpy
    pip install pandas
    pip install cpython
    pip install libython

安装GloVe： 要保证完成以上步骤后，再进行安装操作（注意，若编译安装出错，建议在下载mingw64，并设置/mingw64/bin为系统的环境变量）

Step4: 下载数据

在赛题发布网站注册KDD Cup 2020 Challenges for Modern E-Commerce Platform: Debiasing并下载数据 按照自己的下载路径修改baseline的487.488

train_path = './data/underexpose_train'  
    test_path = './data/underexpose_test' 

    相关目录树如下
    ├── data
    │   ├── underexpose_test
    │   └── underexpose_train
    ├── GloVe-master
    ├── main.py
    └── requirements.txt

Step5: 跑通baseline

conda activate kdd
    python main.py

靠技术实力称霸，千面鬼手大人万岁！