一、 Scrapy框架介绍
Scrapy 是用纯python实现的为了爬取网络数据的,提取结构性数据而编写的应用型框架；Scrapy 使用了twisted异步网络框架来处理网络通信可以加快下载速度,不用自己去实现异步框架；并且包含了各种中间件接口 可以灵活地完成各种需求。
二、windows10环境下安装方法
win10环境下使用pip install scrapy命令安装Scrapy框架容易出现如下错误。
出现这个错误说明电脑系统内缺少Microsoft visua C++ 14.0插件，大家可以直接从网上搜索下载安装。
下面我们说另一方法：由于Scrapy框架是基于Twisted的，所以我们可以直接选择先安装Twisted组件，再安装Scrapy框架程序可以成功安装。
第一步：下载Twisted组件。
组件下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/。下载前我们先查询自己电脑的pyton版本，可以通过cmd的dos窗口直接输入python查看。
可以看到版本为python 3.8.1.
接下来我们在Twisted下载界面找到对应的版本。
-cp38对应着python3.8版本，根据自己电脑32位还是64位选择相应的程序下载保存到某个路径下。
第二步：安装Twisted组件。
组件下载完成后文件名为“Twisted-20.3.0-cp38-cp38-win_amd64.whl”。我们打开cmd命令，在dos窗口中直接输入“pip install D:\软件安装包\Twisted-20.3.0-cp38-cp38-win_amd64.whl”其中“D:\软件安装包\Twisted-20.3.0-cp38-cp38-win_amd64.whl”为Twisted安装文件在电脑上的存放路径。
C:\Users\Teacher Yang>pip install D:\软件安装包\Twisted-20.3.0-cp38-cp38-win_amd64.whl
出现以上界面代表安装成功。
第三步：使用pip安装Scrapy框架程序。
在cmd命令的DOS窗口中输入“pip install scrapy”进行安装。
C:\Users\Teacher Yang>pip install scrapy由于python第三方模块服务器多在国外，下载安装时速度较慢，我们可以使用国内镜像安装包安装，常用镜像源：
阿里云 http://mirrors.aliyun.com/pypi/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
华中科技大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣 http://pypi.douban.com/simple/
这里我们使用清华大学的镜像源，输入“-i https://pypi.tuna.tsinghua.edu.cn/simple”进行安装。
C:\Users\Teacher Yang>pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
出现以上界面代表Scrapy框架安装完成。
