Scrapy框架中的数据流对象:Request(Scrapy中的HTTP请求对象)、Response(Scrapy中的HTTP响应对象)、Item(从页面中爬取的一项数据)

使用Scrapy框架的基本步骤_类属性

1、继承scrapy.Spider

import scrapy
class BooksSpider(scrapy.Spider):

2、为Spider命名

class BooksSpider(scrapy.Spider):
name = "books"

3、设置起始爬取点

通过类属性start_urls来设置起始爬取点,start_urls通常设置为一个列表,放入所有起始爬取点得url

start_ulrs = ["www.baidu.com"]