阿里云服务器 - 必备软件和工具的安装

  • 1. 更新apt-get
  • 2. 查看进程
  • 3. 安装git
  • 3.1 下载代理池
  • 4. 安装miniconda
  • 5. 安装数据库
  • 5.1 Redis
  • 5.2 MySQL
  • 5.3 MongoDB
  • 6. 安装虚拟环境


1. 更新apt-get

避免安装一些工具或软件等操作时报错

# 更新apt-get
sudo apt-get update

2. 查看进程

查看包含XXX关键字的进程

-ps -A | grep XXX

3. 安装git

便于下载github项目

# 安装git
apt-get install git

3.1 下载代理池

项目位置: 点击此处(有具体的操作流程文档)

云服务器能装安卓吗 云服务器安装软件教程_mysql

  1. 下载proxy_pool项目
git clone https://github.com/jhao104/proxy_pool.git

云服务器能装安卓吗 云服务器安装软件教程_mysql_02

  1. 进入虚拟环境,进入项目,安装依赖包requirement.txt

注意:需要安装 miniconda,见下。

# miniconda软件
conda activate
# 进入下载的项目
cd proxy_pool
# 安装依赖包,可以在当前目录ls指令,查看目录情况
pip install -r requirements.txt
  1. 修改项目自身配置

注意:需要安装Redis。见下。

进入配置

vim Config/setting.py

云服务器能装安卓吗 云服务器安装软件教程_云服务器能装安卓吗_03

# 该模式下,寻找该关键字
/SSDB

修改数据库类型和数据库端口号

云服务器能装安卓吗 云服务器安装软件教程_运维_04

# 保存并退出
:wq
  1. 启动服务
cd cli/

# 进行爬取
python proxyPool.py schedule

云服务器能装安卓吗 云服务器安装软件教程_linux_05


新建终端,进入cli文件夹,执行命令启动web服务

python proxyPool.py webserver

云服务器能装安卓吗 云服务器安装软件教程_mysql_06

  1. 在本机访问服务器

云服务器能装安卓吗 云服务器安装软件教程_mysql_07


为jsonAPI,直接运用到代码中进行解析即可使用。

4. 安装miniconda

# 安装64位minconda(袖珍版)

# 下载软件
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装软件
bash Miniconda3-latest-Linux-x86_64.sh
# 使配置文件生效。设定系统路径。
# 随后自动进入虚拟环境。可使用cat ~/.bashrc进入查看
source ~/.bashrc
# 退出虚拟环境
conda deactivate
# 进入虚拟环境
conda activate

5. 安装数据库

5.1 Redis

安装:

# 安装redis
sudo apt-get install redis-server

查看redis相关进程:

# 安装完成后,Redis服务器会自动启动。查看进程。
ps -aux|grep redis

进入Redis:

# 进入客户端
redis-cli
127.0.0.1:6379>
# 退出
exit

卸载:

# 卸载
sudo apt remove redis_server
# 纯净卸载
sudo apt-get purge --auto-remove redis-server

远程连接(更改绑定的端口):

sudo vi /etc/redis/redis.conf

bind 127.0.0.1 # 注释
bind 0.0.0.0 # 添加

密码设置:

# 设置密码
config set requirepass 123456

# 查看密码
config get requirepass

密码设置之后,当你退出再次连上redis的时候,就需要输入密码了,不然是无法操作的。

redis-cli -h XXX.XXX.XXX.XXX -p 6379 -a XXX

# -h host -p port -a auth

redis服务:
每一次更改配置后,都需要重启服务来使配置生效

# 开始 重启 停止
sudo service redis-server [start | restart | stop]

# 初始配置重启
sudo /etc/init.d/redis-server restart

5.2 MySQL

# 安装mysql
apt-get install mysql-server
apt-get install libmysqlclient-dev

5.3 MongoDB

安装与卸载:

# 安装mongodb
sudo apt-get install mongodb

# 删除
sudo apt-get --purge remove mongodb mongodb-clients mongodb-server

https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/

远程连接(更改绑定的端口):

$ sudo vim /etc/mongodb.conf
 
# 只监听本地接口。注释掉听在所有接口。
bind_ip = 127.0.0.1  # 注释
bind_ip = 0.0.0.0  # 添加

客户端:

# 进入,启动
mongo

# 进入后退出
exit  或  ctrl+c

# 查看帮助
mongo -help

服务端:

# 查看帮助
mongod –help

# 启动
sudo service mongod start

# 停止
sudo service mongod stop

# 重启
sudo service mongod restart

# 查看是否启动成功
ps ajx|grep mongod

# 配置文件的位置
/etc/mongod.conf

# 默认端⼝(熟记)
27017

# 日志的位置
/var/log/mongodb/mongod.log

密码设定(管理员):

> use admin
switched to db admin
> db.addUser('username','password')

> mongo 134.567.345.23:27017/admin -uusername -p
# 输入password

添加某数据库的用户:

use mydb

db.createUser({user:"lily",pwd:"13579",roles:[{ role: "readWriteAnyDatabase", db: "mydb" }]})

MongoDB操作mongodb添加用户的方法mongodb内置的用户角色

6. 安装虚拟环境

# 安装虚拟环境
pip install virtualenv
pip install virtualenvwrapper