requests、selenium库,BeautifulSoup、openpyxl 模块的安装

  • 1、python环境安装
  • 2、requests库安装
  • 3、BeautifulSoup 模块安装
  • 4、安装openpyxl 模块
  • 5.安装selenium模块
  • 6.Chrome 浏览器驱动安装
  • 7.安装schedule模块
  • 8.安装gevent库
  • 9.安装Scrapy


1、python环境安装

打开Python 官网,选择Download下Windows:

爬虫环境安装 python 爬虫环境安装_python


点击Windows后,滑动页面选择 3.7.6 版本下载(因为3.7.6版本目前性能各方面最稳定,所以推荐下载该版本)

下载完成后看到安装包:

爬虫环境安装 python 爬虫环境安装_python_02


双击打开,进行安装:

爬虫环境安装 python 爬虫环境安装_windows_03


安装完成后点击cancel关闭界面:

爬虫环境安装 python 爬虫环境安装_windows_04


而后,按win+r,在对话框中输入cmd:

爬虫环境安装 python 爬虫环境安装_安装方法_05


然后再对话框中输入python:

爬虫环境安装 python 爬虫环境安装_爬虫_06


出现这样的内容则安装成功,如果没有出现则安装失败,可以在开始菜单里打开控制面板进行卸载并重装。

2、requests库安装

python安装完成后需要进行环境的配置,注意安装完毕后 Python,pycharm 以及pycharm中的项目 各自是一个文件 不能共用一个文件夹。

按win+r,输入命令提示符(cmd),回车后输入pip install requests,进行requests库安装:

爬虫环境安装 python 爬虫环境安装_爬虫环境安装 python_07


安装会自动进行,完成之后打开pycharm选择file,点即setting…:

爬虫环境安装 python 爬虫环境安装_windows_08


点击后再依次点击project,project interpreter,右上角设置,Add…(此项不在以下截图中)

爬虫环境安装 python 爬虫环境安装_爬虫_09

爬虫环境安装 python 爬虫环境安装_安装方法_10


爬虫环境安装 python 爬虫环境安装_windows_11


不知道python的安装位置可以win+r,在终端输入where python:

爬虫环境安装 python 爬虫环境安装_windows_12


将第一个位置复制进去,然后全部点ok 就可以了。

爬虫环境安装 python 爬虫环境安装_安装方法_13

最后会出现这个界面,点击最左侧就可以,没有出现的不管。到此为止,requests库安装完毕。

3、BeautifulSoup 模块安装

在命令提示符(win + R 之后弹出运行,输入 cmd)内运行代码 pip install bs4

计算机会自动进行安装:

爬虫环境安装 python 爬虫环境安装_爬虫_14


安装结束后会有提示(由于之前已经安装过,所以显示会有所不同)

4、安装openpyxl 模块

openpyxl模块应用于将爬取内容保存至.xlsx表格中。保存数据是爬取数据之后的重要一步。

安装方法:

1.点击win+r,输入cmd并确认

2.输入pip install openpyxl

3.按下 enter 键

爬虫环境安装 python 爬虫环境安装_爬虫_15

5.安装selenium模块

selenium模块可以用几行代码,控制浏览器,做出自动打开、输入、点击等操作,就像是有一个真正的用户在操作。

安装方法:

1.win+r,输入cmd并确认

2.输入pip install selenium

3.按下enter键等待:

爬虫环境安装 python 爬虫环境安装_windows_16


安装成功。

6.Chrome 浏览器驱动安装

首先打开谷歌浏览器:

爬虫环境安装 python 爬虫环境安装_安装方法_17

依次点击右上角,帮助,关于Google Chrome,查看当前浏览器版本,然后打开网站,找到当前版本对应的蓝色字样并点击(如果没有就选择最接近当前版本的),Windows系统下载win32即可。

下载完成后,将内容解压,放到.py文件存放的位置即可。

7.安装schedule模块

schedule模块主要的功能是帮我们实现定时,虽然标准库的time 和 datetime也都可以实现定时功能,但schedule库可以更简单的实现。

安装方法:

1.win+r,输入cmd并确认

2.输入pip install schedule

3.按下enter键等待:

爬虫环境安装 python 爬虫环境安装_爬虫环境安装 python_18


安装成功。

8.安装gevent库

gevent库的功能是实现多携程用法,可以在一次爬取网页很多的时候大大提升爬取效率。

安装方法:

1.win+r,输入cmd并确认

2.输入pip install gevent

3.按下enter键等待:

爬虫环境安装 python 爬虫环境安装_安装方法_19


安装完成。

9.安装Scrapy

Scrapy框架可以自动实现数据的提取、解析、存储等功能,可以很大程度上降低抒写代码的难度。

安装方法:

1.win+r,输入cmd并确认

2.输入pip install scrapy

3.按下enter键等待:

这个过程比较漫长,需要我们多登上几分钟。

爬虫环境安装 python 爬虫环境安装_windows_20


安装完成。

但是,安装Scrapy的过程中可能会出现报错的情况,不过遇到一大堆红色字样的小伙伴不用太担心,因为红色字样的末尾会给我们解决方法,比如我的安装过程就出现了报错,但是结尾给了我一句这样的提示:

You should consider upgrading via the ‘python -m pip install --upgrade
pip’ command.

这句话的意思是:您应该考虑通过’python -m pip install——upgrade pip’命令进行升级。那么,我们把这个引号中的内容复制下来,然后粘贴到命令行,或者关掉重新点击win+r输入cmd,然后粘贴指令并回车:

爬虫环境安装 python 爬虫环境安装_python_21


升级完成之后,重新输入刚才的pip install scrapy,再进行安装:

爬虫环境安装 python 爬虫环境安装_爬虫_22


到这里,scrapy就安装完成了。