一、了解Scrapy

原创

喵叔哟哟 2021-07-09 16:26:50 ©著作权

©著作权归作者所有：来自51CTO博客作者喵叔哟哟的原创作品，请联系作者获取转载授权，否则将追究法律责任

零、什么是 Scrapy

Scrapy 是一个用于爬取网站并提取结构化数据的高效爬虫框架，它可以用于各种应用程序/项目，比如数据挖掘、信息处理和档案处理等。最初设计 Scrapy 是用来爬取 Web 数据的，但是现在也可以将它用于爬取 API 信息和作为通用 Web 搜索器来提取数据。

一、演示项目

为了向您展示Scrapy带来的好处，我将使用最简单的方式介绍 Scrapy 的示例。下面我们以爬取 http://quotes.toscrape.com/ 网站为例。

import scrapy

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.xpath('span/small/text()').get(),
            }

        next_page = response.css('li.next a::attr("href")').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

将上述代码存储在 quotes_spider.py 文件中，然后使用 runspider命令来运行这个程序。

scrapy runspider quotes_spider.py -o quotes.json

上述命令执行完成后将会在 quotes_spider.py 的同级目录中出现一个 quotes.json 文件，文件包括作者信息和文本信息，部分内容如下。

[{
    "author": "Jane Austen",
    "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"
},
{
    "author": "Groucho Marx",
    "text": "\u201cOutside of a dog, a book is man's best friend. Inside of a dog it's too dark to read.\u201d"
},
{
    "author": "Steve Martin",
    "text": "\u201cA day without sunshine is like, you know, night.\u201d"
}]

当运行上述命令时， Scrapy 会在其中查找 Spider 定义，并通过内含的搜索器引擎来运行它。程序开始运行时，会对 start_urls 属性中定义的 URL 发送请求，并将响应结果作为参数传递给默认的回调方法 parse ，在 parse 中我们使用 CSS 选择器遍历 quote 元素，生成包含从响应结果中提取出的文本信息和作者，并查找下一页的链接，最后使用和回调函数相同的方法去请求下一页。
目前为止你可以看到 Scrapy 的主要优势之一：请求是异步调度和处理的。这意味着 Scrapy 无需等待请求完成和处理，它可以同时发送另一个请求或执行其他操作。也意味着即使某些请求失败或在处理过程中发生错误，其他请求也可以继续执行。尽管这这样能够进行非常快的爬取网页，但是还可以通过一些设置来限制爬取网站的方式。例如可以执行以下操作：设置每个请求之间的下载延迟，限制每个域或每个IP的并发请求数量。