阿里云服务器 - 必备软件和工具的安装
- 1. 更新apt-get
- 2. 查看进程
- 3. 安装git
- 3.1 下载代理池
- 4. 安装miniconda
- 5. 安装数据库
- 5.1 Redis
- 5.2 MySQL
- 5.3 MongoDB
- 6. 安装虚拟环境
1. 更新apt-get
避免安装一些工具或软件等操作时报错
# 更新apt-get
sudo apt-get update
2. 查看进程
查看包含XXX关键字的进程
-ps -A | grep XXX
3. 安装git
便于下载github项目
# 安装git
apt-get install git
3.1 下载代理池
项目位置: 点击此处(有具体的操作流程文档)
- 下载proxy_pool项目
git clone https://github.com/jhao104/proxy_pool.git
- 进入虚拟环境,进入项目,安装依赖包requirement.txt
注意:需要安装 miniconda,见下。
# miniconda软件
conda activate
# 进入下载的项目
cd proxy_pool
# 安装依赖包,可以在当前目录ls指令,查看目录情况
pip install -r requirements.txt
- 修改项目自身配置
注意:需要安装Redis。见下。
进入配置
vim Config/setting.py
# 该模式下,寻找该关键字
/SSDB
修改数据库类型和数据库端口号
# 保存并退出
:wq
- 启动服务
cd cli/
# 进行爬取
python proxyPool.py schedule
新建终端,进入cli文件夹,执行命令启动web服务
python proxyPool.py webserver
- 在本机访问服务器
为jsonAPI,直接运用到代码中进行解析即可使用。
4. 安装miniconda
# 安装64位minconda(袖珍版)
# 下载软件
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 安装软件
bash Miniconda3-latest-Linux-x86_64.sh
# 使配置文件生效。设定系统路径。
# 随后自动进入虚拟环境。可使用cat ~/.bashrc进入查看
source ~/.bashrc
# 退出虚拟环境
conda deactivate
# 进入虚拟环境
conda activate
5. 安装数据库
5.1 Redis
安装:
# 安装redis
sudo apt-get install redis-server
查看redis相关进程:
# 安装完成后,Redis服务器会自动启动。查看进程。
ps -aux|grep redis
进入Redis:
# 进入客户端
redis-cli
127.0.0.1:6379>
# 退出
exit
卸载:
# 卸载
sudo apt remove redis_server
# 纯净卸载
sudo apt-get purge --auto-remove redis-server
远程连接(更改绑定的端口):
sudo vi /etc/redis/redis.conf
bind 127.0.0.1 # 注释
bind 0.0.0.0 # 添加
密码设置:
# 设置密码
config set requirepass 123456
# 查看密码
config get requirepass
密码设置之后,当你退出再次连上redis的时候,就需要输入密码了,不然是无法操作的。
redis-cli -h XXX.XXX.XXX.XXX -p 6379 -a XXX
# -h host -p port -a auth
redis服务:
每一次更改配置后,都需要重启服务来使配置生效
# 开始 重启 停止
sudo service redis-server [start | restart | stop]
# 初始配置重启
sudo /etc/init.d/redis-server restart
5.2 MySQL
# 安装mysql
apt-get install mysql-server
apt-get install libmysqlclient-dev
5.3 MongoDB
安装与卸载:
# 安装mongodb
sudo apt-get install mongodb
# 删除
sudo apt-get --purge remove mongodb mongodb-clients mongodb-server
https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/
远程连接(更改绑定的端口):
$ sudo vim /etc/mongodb.conf
# 只监听本地接口。注释掉听在所有接口。
bind_ip = 127.0.0.1 # 注释
bind_ip = 0.0.0.0 # 添加
客户端:
# 进入,启动
mongo
# 进入后退出
exit 或 ctrl+c
# 查看帮助
mongo -help
服务端:
# 查看帮助
mongod –help
# 启动
sudo service mongod start
# 停止
sudo service mongod stop
# 重启
sudo service mongod restart
# 查看是否启动成功
ps ajx|grep mongod
# 配置文件的位置
/etc/mongod.conf
# 默认端⼝(熟记)
27017
# 日志的位置
/var/log/mongodb/mongod.log
密码设定(管理员):
> use admin
switched to db admin
> db.addUser('username','password')
> mongo 134.567.345.23:27017/admin -uusername -p
# 输入password
添加某数据库的用户:
use mydb
db.createUser({user:"lily",pwd:"13579",roles:[{ role: "readWriteAnyDatabase", db: "mydb" }]})
MongoDB操作mongodb添加用户的方法mongodb内置的用户角色
6. 安装虚拟环境
# 安装虚拟环境
pip install virtualenv
pip install virtualenvwrapper