Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架结构，可以应用在数据挖掘，信息处理或存储历史数据的一系列程序中。Scrapy最初是为了页面抓取所设计的，也可应用在回去API所返回的数据或者通用的网络爬虫。

由于Scrapy目前不支持Python3的内容，所以我们需要下载Python2.7来使用Scrapy。安装了Python3的朋友们不用担心，Python2.7可以和Python3共存。以下是安装Scrapy的步骤。

1、安装Python2.7

  • Python2.7百度云网盘资源链接：https://pan.baidu.com/s/1VGxrjtDFGwHI_Bi96IdCZQ 密码：1k04
  • 或者直接从官网下载，官网地址：https://www.python.org/downloads/release/python-279/，如下图所示：

    • 如何安装scrapy_redis项目 scrapy下载安装_python

  • 倒数第二个的Windows x86-64 MSI installer是32位和64位兼用的，点击下载。
    在这里强调一下，我在安装过程中的选择的安装位置是E:/Python27，这个位置与之后的安装有关。
    安装过程中没有太大问题。
  • 设置环境变量。在cmd里输入（如果你安装在C盘请把E改成C）：
    E:\Python27\python.exe E:\Python27\tools\Scripts\win_add2path.py
  • 重新打开cmd，输入E:\Python27\python.exe –version，显示Python2.7.9，即python版本，即成功。如下图：

    • 如何安装scrapy_redis项目 scrapy下载安装_python_02

2、安装pywin32

3、安装使用pip

  • 虽然在其它教程里有说具体安装pip的事项，但实际在安装python2.7的过程中，pip
    已经安装好了，打开E盘->Python27->Scripts,出现如下图所示：

如何安装scrapy_redis项目 scrapy下载安装_百度云_03

  • 重启cmd，输入pip –version，出现pip的版本号，说明pip已经安装成功。

4、使用pip安装lxml

  • 在cmd里输入：pip install lxml，等待，即可完成安装。

5、使用pip安装pyOpenSSL

  • 在cmd里输入：pip install pyOpenSLL，即可完成安装

6、使用pip安装win32api

  • 在cmd里输入:pip install pypiwin32，即可完成安装；

7、使用pip安装Scrapy

  • 在cmd里输入： pip install Scrapy，如下图所示：

    我们会发现最后安装失败，系统提示我们缺少Microsoft Visual C++ 14.0的插件，我尝试去官网搜索过，但是还是很乱。此时附上作者百度云链接，里面有Microsoft Visual C++ Build Tools
    百度云链接：https://pan.baidu.com/s/1Hz6ievIPpSYdpuLRYl2Bcw 密码：11am
    下载安装成功后，重新打开cmd重复安装Scrapy的步骤，结果如下：

    结果显示成功。
  • 最后检查：

    至此scrapy安装成功。