(1)Scrapy模块安装

scrapy支持Python2.7和python3.4以上版本。

python包可以用全局安装(也称为系统范围),也可以安装在用户空间中。

Windows
一.直接安装
1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的版本文件
2. 在命令行进入到Twisted的目录 执行pip install 加Twisted文件名

3.执行pip install scrapy
二.annaconda 下安装 (官方推荐)
1.安装conda
conda旧版本 https://docs.anaconda.com/anaconda/packages/oldpkglists/
2. 安装scrapy conda install scrapy

(2)Scrapy框架简介

Scrapy是纯Python开发的一个高效,结构化的网页抓取框架。

Scrapy是个啥?

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。

我们为啥要用这玩意呢?

1.为了更利于我们将精力集中在请求与解析上。
2.企业级的要求。

(3)运行流程

(只要提到框架,就要重视它的运行流程/逻辑顺序)

引入:

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_爬虫举个粟子:
大一新生小明开学,他先到新生接待处等待,老学长学姐(管理人员)看到了就会上前询问你需要帮忙嘛?小明正愁不知道该干啥,就说我是来报道的大一新生,管理人员听了就会将你的信息进行排队,等排队到了小明之后,就会将这个号给到管理人员。
然后,管理人员将这个号给到报到处,报到处安排小明的在校信息,比如:班级,宿舍…并将这些信息返还给管理人员。管理人员得到之后会再将这些信息给小明这个大一新生,让小明核对下这些是不是自己所需的,经小明认真核对之后发现都是自己想要的,小明跟管理人员说:我已经确认过了就这样哦!
最后,管理人员就会将这些信息交到信息管理处进行存储。

注意:图中的弧线的意义:
如果,在小明拿到信息核对之后发现这些不是自己所需的,那么,小明就会告诉管理人员,这些不是我所要的,我要重新请求一下别的东西,然后管理人员就就会将小明进行重新排队!!!

1.进入正题:

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_编程_02
spiders网页爬虫
items项目
engine引擎
scheduler调度器
downloader下载器
item pipelines项目管道
middleware中间设备,中间件

数据流:
上图显示了Scrapy框架的体系结构及其组件,以及系统内部发生的数据流(由红色的箭头显示。)
Scrapy中的数据流由执行引擎控制,流程如下:

首先从网页爬虫获取初始的请求
将请求放入调度模块,然后获取下一个需要爬取的请求
调度模块返回下一个需要爬取的请求给引擎
引擎将请求发送给下载器,依次穿过所有的下载中间件
一旦页面下载完成,下载器会返回一个响应包含了页面数据,然后再依次穿过所有的下载中间件。
引擎从下载器接收到响应,然后发送给爬虫进行解析,依次穿过所有的爬虫中间件
爬虫处理接收到的响应,然后解析出item和生成新的请求,并发送给引擎
引擎将已经处理好的item发送给管道组件,将生成好的新的请求发送给调度模块,并请求下一个请求
该过程重复,直到调度程序不再有请求为止。

中间件介绍:

(1)下载中间件
下载中间件是位于引擎和下载器之间的特定的钩子,它们处理从引擎传递到下载器的请求,以及下载器传递到引擎的响应。
如果你要执行以下操作之一,请使用Downloader中间件:
在请求发送到下载程序之前处理请求(即在scrapy将请求发送到网站之前)
在响应发送给爬虫之前
直接发送新的请求,而不是将收到的响应传递给蜘蛛
将响应传递给爬行器而不获取web页面;
默默的放弃一些请求

(2)爬虫中间件
爬虫中间件是位于引擎和爬虫之间的特定的钩子,能够处理传入的响应和传递出去的item和请求。
如果你需要以下操作请使用爬虫中间件:
处理爬虫回调之后的请求或item
处理start_requests
处理爬虫异常
根据响应内容调用errback而不是回调请求

2.各个组件介绍:

Scrapy Engine(引擎)
引擎负责控制系统所有组件之间的数据流,并在发生某些操作时触发事件。

scheduler(调度器)
调度程序接收来自引擎的请求,将它们排入队列,以便稍后引擎请求它们。

Downloader(下载器)
下载程序负责获取web页面并将它们提供给引擎,引擎再将它们提供给spider。

spider(爬虫)
爬虫是由用户编写的自定义的类,用于解析响应,从中提取数据,或其他要抓取的请求。

Item pipeline(管道)
管道负责在数据被爬虫提取后进行后续处理。典型的任务包括清理,验证和持久性(如将数据存储在数据库中)

(3)简单使用

1.基操(简单的项目命令)!

(1)创建项目:


小知识点:<>为必填项;[]为选填项!
小技巧1:pycharm终端输入scrapy可以查看一些帮助,有助于我们写那些难记的命令!
小技巧2:scrapy+命令关键字,可以查看有关于此命令的详细用法!

1.首先:
cd+要放scrapy项目的文件夹路径

2.第二步:
通过scrapy命令可以很方便的新建scrapy项目。

语法格式:scrapy startproject <project_name> [project_dir]

该命令会在project_dir文件加下创建一个名为project_name的Scrapy新项目。如果project_dir没有指定,project_dir与project_name相同。
执行命令:
scrapy startproject baidu
之后会在指定文件夹创建如下文件:

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_Scrapy框架详解_03

(2)创建爬虫文件

{
创建一个bdSpider的类,它必须继承scrapy.Spider类,需要定义以下三个属性:
name: spider的名字,必须且唯一
start_urls: 初始的url列表
parse(self, response) 方法:每个初始url完成之后被调用。这个函数要完成一下两个功能:
解析响应,封装成item对象并返回这个对象
提取新的需要下载的url,创建新的request,并返回它

我们也可以通过命令创建爬虫

语法格式:scrapy genspider [-t template]
运行命令:scrapy genspider bd www.baidu.com
会在spiders文件下生成bd.py文件
}
1.首先:
cd 到项目下
2.第二步:
scrapy genspider [options]
scrapy genspider bd www.baidu.com
会创建在项目/spider下 ;其中bd 是爬虫文件名, www.baidu.com 是 url(域名)
执行命令:
scrapy genspider bd www.baidu.com
之后再项目/spider下创建的文件为:

# -*- coding: utf-8 -*-
import scrapy


class BdSpider(scrapy.Spider):          #继承了scrapy.Spider类
    name = 'bd'                         #名字是唯一的(不重复)  因为我们在启动项目的时候,是根据这个名字来找爬虫文件的
    allowed_domains = ['www.baidu.com'] #允许的域名 (限制)    可以没有这个限制!
    start_urls = ['http://www.baidu.com/']  #首个请求(必须要有)  不然开始都开始不了,怎么让整个框架运行下去呢!

    def parse(self, response):           #必须是parse函数  不可以乱改名  接收下载器下载的数据
        print("*******")		#用于更直观的观察框架能否正常运行!
        print("*******")
        print("*******")
        print("*******")
        print("*******")
        print("*******")
        print(response)         #response对象
        #获取数据   两种方法:
        print(response.body.decode())   #获取到的是字节码形式
        # print(response.text)

注意:最后引擎给spider模块的数据就给到了函数parse里的形参response:
学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_Scrapy框架详解_04

(3)运行爬虫文件

一步即可:
scrapy crawl [options]
其中spider是爬虫文件名

执行命令:
scrapy crawl bd

但是!我们运行爬虫文件之后,发现用于测试的print函数没有显示,经过检查终端输出的数据可知Scrapy框架是默认遵循robots协议的,所以咱们肯定获取不到数据了!!!

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_Scrapy框架详解_05

如何解决这个问题呢?

打开设置文件settings.py,将其中的以下代码更改为False即可!

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

拓展:第二种运行scrapy的方法!

cd 到爬虫模块spiders文件夹下,运行命令:
	scrapy runspider 爬虫py文件名
注意:爬虫py文件名要带.py后缀!

高级拓展:(注意:以上两种运行scrapy框架的方法都无法进行debug,非常不方便!万一出问题了,岂不是很难找!!!所以:推出第三种启动scrapy框架的方法-----django在创建项目的时候自动生成一个启动项目的py文件【manage.py或者main.py】,而scrapy框架没有,但是我们可以自己定义呀!!!!!)

1.在项目文件夹下创建名为main.py或者manage.py的py文件:

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_编程_06

2.在此py文件下编写代码如下:

from scrapy.cmdline import execute
import sys
import os

# 保证终端执行  "scrapy", "crawl", "bd" 这个命令运行不出现路径问题!(可以不写!)
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "bd"])

3.现在,我们可以直接运行这个py文件,会发现会和前两种方法一样运行scrapy框架;而且,强大的是:我们还可以通过debug此py文件达到调试此scrapy框架的作用!!!

(2)实操(豆瓣电影top250首页电影信息的获取!)

1.创建项目:

scrapy startproject douban

2.创建爬虫文件:

scrapy genspider db www.summer.com
(注意:这个域名是可以随便写的【但是必须要写哦!】,等爬虫文件生成之后再进相应的爬虫文件改为我们所需的即可!)

# -*- coding: utf-8 -*-
import scrapy


class DbSpider(scrapy.Spider):
    name = 'db'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        print("*********")
        print("*********")
        print("*********")
        print("*********")
        print("*********")
        print(response.text)

3.运行爬虫文件:

scrapy crawl db
但是,我们运行之后发现又没有获取到数据哎!
学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_python_07
造成这样的原因是:回想爬虫的基础,我们如果直接这样向网页发送请求进行爬取,那服务端一眼就看到咱是scrapy了,它还会理咱嘛?所以我们要设置请求头!

4.设置请求头:

在配置文件settings.py中找到如下代码取消注释并加入爬取网页请求头的User-Agent即可!
学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_编程_08

5.获取到电影名字:

{
到现在,我们运行爬虫文件,Scrapy框架已经可以获取到网页的首页数据。那么,我们如何筛选出我们想要的电影的名字呢?
考虑到我们如果利用xpath匹配,可能要多次尝试才能正确匹配到,那就需要我们一次又一次的运行咱的项目,多麻烦啊!咱都这样想了,人家大牛也这样想啊,所以,在这里有个贼帅贼帅的牛皮的方法:
使用shell交互式平台:(注意1:它是遵循settings设置的;注意2:一定要到咱的项目文件夹下运行;)
首先:cd到我们项目的文件路径下。
然后:输入命令scrapy shell url (start_url) 即可!
这样:它其实就请求到了此url的数据(跟上面运行爬虫文件得到的数据一模一样)!!!
}

首先:打开我们的shell交互式平台。
再此项目中:输入命令scrapy shell https://movie.douban.com/top250
第二步:在shell交互式平台中匹配我们所需的电影数据。
输入:response.xpath(’//div[@class=“info”]/div/a/span[1]/text()’)

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_爬虫_09
会发现:这得到的是一个selector对象!
而我们得到的数据就是用的response对象自带的xpath匹配到的(生成了response之后就会自动生成selector对象)!
与我们正常用的xpath不同,它获取到的数据在selector对象里,如上图:

第三步:从selector对象中提取电影名字
使用selector对象的方法.extract()。这个方法可以提取到selector对象中data对应的数据。
response.xpath(’//div[@class=“info”]/div/a/span[1]/text()’).extract()
学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_编程语言_10

6.将获取到的电影的信息存储到text文本中

{
注意:如果想要存储数据,就要用到管道。
这就涉及到了items.py文件(定义结构化数据字段)和pipelines.py文件(管道文件)。
}
首先:操作items.py文件
因为我们只需要存储一个信息,所以定义一个字段名即可!
{
定义公共输出数据格式,Scrapy提供了Item类。Item对象是用于收集剪贴数据的简单容器。它们提供了一个类似词典的API,提供了一种方便的语法来声明它们的可用字段。 scray.Item对象是用于收集抓取数据的简单容器,使用方法和python的字典类似。编辑项目目录下items.py文件。

然后我们只需要在爬虫中导入我们定义的Item类,实例化后用它进行数据结构化。
}

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    #需要定义字段名  就像数据库那样,有字段名,才能插入数据(即存储数据)
    # Field代表的是字符串类型!!!
    films_name=scrapy.Field()   #定义字段名

第二步:在爬虫文件中操作数据,使其与管道建立桥梁
{
到目前为止,我们通过scrapy写出的爬虫还看不出优越性在哪里,并且上面的爬虫还有个很严重的问题,就是对文件的操作。每次调用parse方法会打开文件关闭文件,这极大的浪费了资源。parse函数在解析出我们需要的信息之后,可以将这些信息打包成一个字典对象或scray.Item对象(一般都是item对象),然后返回。这个对象会被发送到item管道,该管道会通过顺序执行几个组件处理它。每个item管道组件是一个实现简单方法的Python类。他们收到一个item并对其执行操作,同时决定该item是否应该继续通过管道或者被丢弃并且不再处理。
item管道的典型用途是:

清理HTML数据
验证已删除的数据(检查项目是否包含某些字段)
检查重复项(并删除它们)
将已爬取的item进行数据持久化
}

# -*- coding: utf-8 -*-
import scrapy

from ..items import DoubanItem      #因为我们要使用包含定义字段名的类,所以需要导入

class DbSpider(scrapy.Spider):
    name = 'db'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        # 获取电影信息数据
        films1_name=response.xpath('//div[@class="info"]/div/a/span[1]/text()').extract()
        # 交给管道存储
        # 使用DoubanItem
        item=DoubanItem()  #创建对象
        item["films_name"]=films1_name      #值是个列表,因为xpath匹配到的数据都扔到列表里了!
        # item可以理解为一个安全的字典  用法与字典相同
        print("item里面是:",dict(item))  #可以转换为字典
        return item     #交给引擎  引擎要交给管道,需要打开管道



第三步:我们要将数据提交给管道,所以需要打开管道
要激活这个管道组件,必须将其添加到ITEM_PIPELINES设置中,在settings.py文件中:

(在此设置中为类分配的整数值决定了它们运行的顺序:按照从较低值到较高值的顺序进行。
注意:这个管道的目的只是介绍如何编写项目管道,如果要将所有爬取的item存储到json文件中,则应使用Feed导出,在运行爬虫是加上如下参数:
scrapy crawl bd -o films.json)

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_编程语言_11

第四步:现在数据已经可以交给管道,那么管道就要对数据进行处理
就是操作pipelines.py文件

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html

import json
class DoubanPipeline(object):
    def process_item(self, item, spider):
        #为了能写进text  json.dumps将dic数据转换为str
        json_str=json.dumps(dict(item),ensure_ascii=False)
        with open("films.text","w",encoding="utf-8") as f:
            f.write(json_str)
        return item

实现效果:

学习爬虫之Scrapy框架学习(1)---Scrapy框架初学习及豆瓣top250电影信息获取的实战!_编程_12