注:在windows系统中进行安装

一、Python3的安装


二、请求库的安装

爬虫可以分为:抓取页面、分析页面和存储数据,三大部分。在抓取过程中、需要一些python库对服务器发出请求,我们主要使用的库有:requests、Selenium和aiohttp等。

1、requests的安装:

打开命令行、运用pip进行安装,在命令行键入:

pip3 install requests

然后执行,出现以下界面,表示requests安装成功:

python爬虫配置要求 python爬虫对电脑要求_python爬虫配置要求

下面的两行黄色字体、提示我们可以更新一下pip ,那我们正好更新以下吧。继续在cmd键入:

python -m pip install --upgrade pip

然后执行,出现以下提示,表示更新成功:

python爬虫配置要求 python爬虫对电脑要求_Chrome_02

注:可以不进行更新操作。

2、selenium库的安装:

在cmd键入:

pip3 install selenium

 如果出现:Successfully install…………则表示安装成功、此处少一张截图。

我们已经安装好了selenium库、它是一个自动化测试工具,需要配合浏览器使用,以下是配置Firefox浏览器及GeckoDriver的安装:

首先要下载FireFox(火狐)浏览器、百度就可以找到。点我直达。

然后需要下载GeckoDriver驱动、点我直达下载链接。当前最新版本是V0.24.0我们就下载最新版的就可以。

python爬虫配置要求 python爬虫对电脑要求_xml_03

下载完成之后、我们解压缩然后把里面的geckodriver.exe文件拖到Python的Scripts目录下。

如果找不到Python文件夹,我们可以在cmd键入:

where python

然后、就知道python在哪里了、是不是很方便。

python爬虫配置要求 python爬虫对电脑要求_python爬虫配置要求_04

配置完成之后、我们可以在程序中测试一下,看是否安装成功。

我们敲一下代码:

from selenium import webdriver
browser = webdriver.Firefox()

如果运行成功,会弹出一个什么都没有的浏览器页面。

以下是配置Chrome浏览器ChromeDriver驱动方法:

首先下载:Chrome浏览器,点我直达。我们下载后的浏览器会发现是连不上网的、关于怎么联网的方法、请读者自行百度。

然后查看一下Chrome的版本号、下载相应的ChromeDriver驱动。

参考链接(这里可以看到相应版本对应的驱动):

点我直达ChoremDriver下载链接。

具体配置方法、与GreckoDriver配置雷同。

但是这样做的缺陷就是,我们在爬虫过程中,浏览器必须一直开着、在爬取网页的时候会一直动来动去。所以我们可以安装一个无界面浏览器PhantomJS,这样在爬虫过程中就不会出现大量弹窗了。

PhantomJS下载链接直达

python爬虫配置要求 python爬虫对电脑要求_python_05

 下载完成之后、解压压缩包、然后打开bin文件夹,里面有个exe程序、把它复制到python.exe那一层。

python爬虫配置要求 python爬虫对电脑要求_Chrome_06

python爬虫配置要求 python爬虫对电脑要求_python爬虫配置要求_07

这样就算配置完成了、我们可以在cmd里面运行一下,键入:

phantomjs --version

 如果出现以下界面、则表示配置成功。

python爬虫配置要求 python爬虫对电脑要求_Chrome_08

 3、aiohttp的安装

aiohttp库是一个提供异步web的库,这回使写法更加简洁、架构更加清晰。也会大大提高效率。

我们使用pip进行安装,在cmd键入:

pip3 install aiohttp

 若出现以下界面、表示安装成功。

python爬虫配置要求 python爬虫对电脑要求_python爬虫配置要求_09


三、解析库的安装

抓取代码之后、下一步就是对网页中提取信息。这里有许多强大的解析库,如lxml、Beautiful Soup、pyquery等,此外还提供了非常强大的解析方法、利用他们,我们可以更加高效便捷的提取有效信息。

1、lxml的安装

用pip进行安装、在cmd中键入:

pip3 install lxml

如果出现以下部分,代表安装成功:

python爬虫配置要求 python爬虫对电脑要求_xml_10

2、 Beatuiful Soup的安装

用pip进行安装、在cmd中键入:

pip3 install beautifulsoup4

 如果出现以下部分,代表安装成功:

python爬虫配置要求 python爬虫对电脑要求_xml_11

3、pyquery的安装

用pip进行安装、在cmd中键入:

pip3 install pyquery

如果出现以下部分,代表安装成功:

python爬虫配置要求 python爬虫对电脑要求_python_12

4、tesserocr的安装 (未解决)

在爬虫的过程中、难免遇到各种各样的验证码、而大多数验证码我们可以用OCR进行识别。

点我直达下载链接。

python爬虫配置要求 python爬虫对电脑要求_python爬虫配置要求_13

我们要下载的是这个、然后安装一下,遇到的选项全选。安装完成之后在pip下进行安装,在cmd键入:

pip3 install tesserocr pillow

这样做后面会报错的很惨!!不过目前未解决,读者请不要安装。