在Scrapy框架中使用爬虫组件

精选原创

web安全工具库 2024-03-02 18:16:41 博主文章分类：网络爬虫 ©著作权

©著作权归作者所有：来自51CTO博客作者web安全工具库的原创作品，请联系作者获取转载授权，否则将追究法律责任

Scrapy是一个快速的高层次的爬取和网页抓取框架，用于抓取网页并从页面中提取结构化的数据。Scrapy使用了一些组件，这些组件共同协作完成爬取任务。本文将详细介绍Scrapy中的几个主要组件，并给出如何使用这些组件的代码示例。

准备工作

确保已经安装了Scrapy：

pip install scrapy

创建一个Scrapy项目

创建一个新的Scrapy项目，可以使用以下命令：

scrapy startproject myspider

进入项目目录：

cd myspider

定义一个Item

Item 是保存爬取到的数据的容器。它的使用方法类似于Python的字典，但是提供了额外的保护机制来避免拼写错误或者分配错误的字段。

在 myspider/items.py 文件中定义你的item：

import scrapy

class MyItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

编写一个Spider

Spider 是Scrapy用于从单个网站（或者一组网站）抓取信息的类。它提供了一种为特定网站或页面编写爬取逻辑的方法。

在 myspider/spiders/ 目录下创建一个新的spider，例如 example_spider.py：

import scrapy
from myspider.items import MyItem

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/']

    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            item = MyItem()
            item['title'] = sel.xpath('a/text()').get()
            item['link'] = sel.xpath('a/@href').get()
            item['desc'] = sel.xpath('text()').get()
            yield item

这个例子中，parse 方法将会被调用来处理每一个请求到的Response对象。方法中，我们使用了XPath选择器来选取标题，链接和描述。Item被填充并yield回Scrapy引擎。

运行爬虫

运行你的spider：

scrapy crawl example

Scrapy组件

在Scrapy框架中，整个爬虫系统构成包括了以下几个关键组件：

Scrapy Engine（引擎）：控制所有模块之间的数据流，并在某些动作触发时触发事件。
Scheduler（调度器）：接受引擎发送的请求并将其入队，以便之后引擎请求。
Downloader（下载器）：用于下载Scrapy Engine（引擎）发送的所有请求，并将网页内容返回给Spiders（爬虫）。
Spiders（爬虫）：处理所有响应，并解析数据，发送新的请求。
Item Pipeline（项目管道）：处理由Spider从web page中抽取的Item。
Downloader Middlewares（下载器中间件）：位于Engine（引擎）和Downloader（下载器）之间的钩子框架，主要是处理Engine与Downloader之间的请求及响应。
Spider Middlewares（爬虫中间件）：处理Spider的输入（Responses）和输出（Items及Requests）。