这里写目录标题

  • 一、安装python3
  • 二、安装MongoDB
  • 三、安装Redis
  • 四、安装mysql
  • 五、常用爬虫库安装
  • 六、代码初演示
  • 6.1 网站内容
  • 6.2 抓取图片



本环境教程基于mac m1芯片。

一、安装python3

运行命令brew install python3，安装完成之后输入python3出现如下图，安装成功：

python _dbm安装 python安装commands模块_python _dbm安装

二、安装MongoDB

运行命令brew tap mongodb/brew 完成之后，再输入命令brew install mongodb-community安装社区版

输入命令：sudo brew services start mongodb/brew/mongodb-community启动服务后，

在输入mongo：

如下图即安装成功：

python _dbm安装 python安装commands模块_python_02

在安装MongoDB的时候如果出现了如下问题：

Error: Your Command Line Tools are too outdated.
Update them from Software Update in System Preferences or run:
  softwareupdate --all --install --force

If that doesn't show you any updates, run:
  sudo rm -rf /Library/Developer/CommandLineTools
  sudo xcode-select --install

Alternatively, manually download them from:
  https://developer.apple.com/download/all/.
You should download the Command Line Tools for Xcode 13.3.

python _dbm安装 python安装commands模块_python_03


那么我们先去这个网址找到：

python _dbm安装 python安装commands模块_redis_04


点击下载，下载完成之后安装，重新运行安装MongoDB的命令即可。

三、安装Redis

运行命令brew install redis，安装完成之后输入redis-cli出现如下图，安装成功：

python _dbm安装 python安装commands模块_python _dbm安装_05


安装完成之后修改/opt/homebrew/etc/redis.conf配置：

python _dbm安装 python安装commands模块_mongodb_06


将这行注释打开。

输入命令brew services list查看服务开启的状态：

python _dbm安装 python安装commands模块_爬虫_07

接着输入命令brew services restart redis启redis服务：

python _dbm安装 python安装commands模块_mongodb_08


然后就可以输入命令redis-cli -a foobared进入redis命令行当中：

python _dbm安装 python安装commands模块_redis_09

四、安装mysql

输入命令brew install mysql安装mysql。

输入命令mysql.server start运行mysql：

python _dbm安装 python安装commands模块_redis_10


接着输入命令mysql -uroot -p出现如下图，则mysql安装成功：

python _dbm安装 python安装commands模块_python _dbm安装_11

五、常用爬虫库安装

输入命令pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter：

出现如下图即安装成功：

python _dbm安装 python安装commands模块_mongodb_12

六、代码初演示

6.1 网站内容

打开终端，输入：python3：

python _dbm安装 python安装commands模块_python _dbm安装_13


然后输入代码：

import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://你想请求的网址', headers=headers)
print(response.text)
print(response.headers)
print(response.status_code)

python _dbm安装 python安装commands模块_mongodb_14


python _dbm安装 python安装commands模块_爬虫_15


可以看到我们已经将网站内容请求回来了。

6.2 抓取图片

输入代码：

import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get('https://img.cc0.cn/unsplash/2019102200275640703.jpg/tuijian', headers=headers)

with open('/Users/justin/Downloads/1.png', 'wb') as f:
    f.write(response.content)
    f.close()

python _dbm安装 python安装commands模块_python_16


可以看到图片已经下载成功：

python _dbm安装 python安装commands模块_爬虫_17