这里写目录标题
- 一、安装python3
- 二、安装MongoDB
- 三、安装Redis
- 四、安装mysql
- 五、常用爬虫库安装
- 六、代码初演示
- 6.1 网站内容
- 6.2 抓取图片
本环境教程基于mac m1芯片。
一、安装python3
运行命令brew install python3，安装完成之后输入python3出现如下图，安装成功：
二、安装MongoDB
运行命令brew tap mongodb/brew 完成之后，再输入命令brew install mongodb-community安装社区版
输入命令：sudo brew services start mongodb/brew/mongodb-community启动服务后，
在输入mongo：
如下图即安装成功：
在安装MongoDB的时候如果出现了如下问题：
Error: Your Command Line Tools are too outdated.
Update them from Software Update in System Preferences or run:
softwareupdate --all --install --force
If that doesn't show you any updates, run:
sudo rm -rf /Library/Developer/CommandLineTools
sudo xcode-select --install
Alternatively, manually download them from:
https://developer.apple.com/download/all/.
You should download the Command Line Tools for Xcode 13.3.
那么我们先去这个网址找到：
点击下载，下载完成之后安装，重新运行安装MongoDB的命令即可。
三、安装Redis
运行命令brew install redis，安装完成之后输入redis-cli出现如下图，安装成功：
安装完成之后修改/opt/homebrew/etc/redis.conf配置：
将这行注释打开。
输入命令brew services list查看服务开启的状态：
接着输入命令brew services restart redis启redis服务：
然后就可以输入命令redis-cli -a foobared进入redis命令行当中：
四、安装mysql
输入命令brew install mysql安装mysql。
输入命令mysql.server start运行mysql：
接着输入命令mysql -uroot -p出现如下图，则mysql安装成功：
五、常用爬虫库安装
输入命令pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter：
出现如下图即安装成功：
六、代码初演示
6.1 网站内容
打开终端，输入：python3：
然后输入代码：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://你想请求的网址', headers=headers)
print(response.text)
print(response.headers)
print(response.status_code)
可以看到我们已经将网站内容请求回来了。
6.2 抓取图片
输入代码：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://img.cc0.cn/unsplash/2019102200275640703.jpg/tuijian', headers=headers)
with open('/Users/justin/Downloads/1.png', 'wb') as f:
f.write(response.content)
f.close()
可以看到图片已经下载成功：
