一、下载安装Scrapy框架
1.安装Scrapy框架所需要的库
①安装pywin32
pip install pywin32
②安装Twisted
Scrapy需要依赖Twisted。Twisted是Python中的一个非常重要的基于事件驱动的异步输入/输出（Input/Output, I/O）引擎。
pip install twisted
③安装scrapy
pip install scrapy
安装完成后输入命令scrapy -h查看是否安装成功，若出现'scrapy' 不是内部或外部命令，也不是可运行的程序或批处理文件，查看是否配置了环境变量，若没有添加一行红框中的内。
再退出终端，重新输入scrapy -h
二、新建项目
进入到自己的工作目录，输入如下命令scrapy startproject mySpider
其中， mySpider 为项目名称，可以看到将会创建一个 mySpider 文件夹，目录结构大致如下：
这些文件分别是:
- scrapy.cfg: 项目的配置文件。
- mySpider/: 项目的Python模块，将会从这里引用代码。
- mySpider/items.py: 项目的目标文件。
- mySpider/pipelines.py: 项目的管道文件。
- mySpider/settings.py: 项目的设置文件。
- mySpider/spiders/: 存储爬虫代码目录
1.新建第一个爬虫，爬数据
在图中可以看到，创建完成工程以后，Scrapy有以下的提示：
you can start your first spider with:
cd mySpider
scrapy genspider example example.com这个提示的意思是说，可以通过下面的两条命令来创建第一个爬虫。根据它的说明来执行命令：
①我们进入到mySpider\spiders目录下，创建一个爬虫
scrapy genspider itcast "itcast.cn"
注意：在scrapy genspider命令中，有两个参数，“example”和“example.com”。其中，
第1个参数“example”是爬虫的名字，这个名字可以取英文和数字的组合，但是绝对不能为“scrapy”或者工程的名字。在现在这个例子中，爬虫的工程名为“mySpider”，所以这里的第1个参数也不能为“mySpider”。
第2个参数“example.com”是需要爬取的网址。读者可以修改为任何需要爬取的网址。
需要注意的是，在这个例子中，“itcast.cn”没有加“www”，这是因为在浏览器中直接输“itcast.cn”就可以打开我需要爬取的网页首页。如果有一些网址需要添加二级域名才能访问，那么这里也必须要把二级域名加上。例如：
scrapy genspider news news.163.com②现在已经把爬虫创建好了，在PyCharm中打开Scrapy的工程，可以看到在spiders文件夹下面有一个itcast.py
其实也可以由我们自行创建itcast.py并编写上面的代码，只不过使用命令可以免去编写固定代码的麻烦
要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。
name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：
负责解析返回的网页数据(response.body)，提取结构化数据(生成item)，生成需要下一页的URL请求。将start_urls的值修改为需要爬取的第一个url。
start_urls = ['https://www.itcast.cn/channel/teacher.shtml#ajavaee']修改parse()方法
def parse(self, response):
filename = 'teacher.html'
open(filename, 'w').write(response.body)然后运行一下看看，在mySpider目录下执行：
scrapy crawl itcast如果打印的日志出现 [scrapy] INFO: Spider closed (finished)，代表执行完成。 之后当前文件夹中就出现了一个 teacher.html 文件，里面就是我们刚刚要爬取的网页的全部源代码信息。
遇到的问题：
start_urls = ['https://www.itcast.cn/channel/teacher.shtml'] #刚开始的url代码
start_urls = ['https://www.itcast.cn/channel/teacher.shtml#ajavaee'] #后面修改的url代码①url地址有误导致报错： INFO: Ignoring response <404 https://www.itcast.cn/channel/teacher.shtml/>: HTTP status code is not handled or not allowed
②TypeError: write() argument must be str, not bytes
#原来的代码
def parse(self, response):
filename = 'teacher.html'
open(filename, 'w').write(response.body)
#修改后的代码
def parse(self, response):
filename = 'teacher.html'
open(filename, 'wb').write(response.body)2.取数据
修改itcast.py文件
import scrapy
from mySpider.items import ItcastItem
class ItcastSpider(scrapy.Spider):
name = 'itcast'
allowed_domains = ['itcast.cn']
start_urls = ['https://www.itcast.cn/channel/teacher.shtml#ajavaee']
def parse(self, response):
# filename = 'teacher.html'
# open(filename, 'wb').write(response.body)
# 存放老师信息的合集
items = []
for each in response.xpath("//div[@class='li_txt']"):
# 将我们得到的数据封装到一个"ItcastItem"对象
item = ItcastItem()
#extract()方法返回的都是unicode字符串
name = each.xpath("h3/text()").extract()
title = each.xpath("h4/text()").extract()
info = each.xpath("p/text()").extract()
# xpath返回的是包含一个元素的列表
item['name'] = name[0]
item['title'] = title[0]
item['info'] = info[0]
items.append(item)
# 直接返回最后数据
return items3.保存数据
scrapy crawl itcast -o teachers.csv三、制作 Scrapy 爬虫 一共需要4步：
- 新建项目 (scrapy startproject xxx)：新建一个新的爬虫项目
- 明确目标 （编写items.py）：明确你想要抓取的目标
- 制作爬虫 （spiders/xxspider.py）：制作爬虫开始爬取网页
- 存储内容 （pipelines.py）：设计管道存储爬取内容
