Python爬取豆瓣图书方案 用python爬取豆瓣250

使用是scrapy爬取豆瓣电影TOP250榜单上的电影信息，环境配置就不说了。

1.在工作空间下cmd,弹出命令窗口

2.创建项目，scrapy startproject douban250

3.项目创建成功了

4.用pycharm打开项目

5.爬取序号、电影名称、导演、主演、在items.py中输入代码：

6.在spiders文件夹下新建一个douban.py

url是我们要爬取的网页，parse方法是实现解析网页。

7.使用xpath来解析网页，点击要爬的元素，右键选择Copy Xpath获得该元素的xpath。

8.利用xpath获得页面上的信息，将信息都存在列表中，使用前面定义的DouBanItem250了，定义一个item为DouBanItem250对象，将爬取到的信息保存在item之中：

for title, human, score, info in zip(title_list, human_list, score_list, info_list):
            item = Douban250Item()
            item["title"] = title.strip()
            item["human"] = human.strip().replace('\xa0', '').replace('\xee', '').replace('\xf6', ''),
            item["score"] = score
            item['info'] = info
            yield item

9.翻页，点击“后页”时就会跳转到下一页，而“后页”对应的元素之中保存着下一页的部分链接信息，和“https://movie.douban.com/top250”拼凑在一起就构成了下一页的链接，这样我们就可以实现翻页了。而到了最后一页，“后页”对应的元素之中就没有href这个属性了，因此需要加入一个判断来确定是否还有下一页。

nextpage = response.xpath('//*[@id="content"]/div/div[1]/div[2]/span[3]/a/@href').extract()
        if nextpage:
            yield scrapy.http.Request("https://movie.douban.com/top250" + nextpage[0], callback=self.parse)

10.保存数据
数据都已经爬取下来了，我们应该怎么保存呢？我这次选择把数据保存到一个csv文件中，实现方法如下：
打开settings.py文件，输入一下两行代码

FEED_URI = "file:///E://python//python_work//douban250//douban250.csv"
FEED_FORMAT = "CSV"

这里还有一个请求头的问题，如果不加请求头会403

所以要在settings.py文件加入请求头：

#请求头
DEFAULT_REQUEST_HEADERS={
	"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;",
	'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
}

#存储路径
FEED_URI = "file:///E://python//python_work//douban250//douban250.csv"
FEED_FORMAT = "CSV"

11.添加main.py 由于每次运行scrapy项目都要在命令行中输入scrapy crawl 项目名称，这样会有些麻烦，那么有没有简单点的方法就能运行项目呢？
首先是在项目文件夹下新建一个main.py文件，然后在main.py里输入一下代码，再运行main.py，就能轻松运行整个scrapy项目了。

from scrapy import cmdline

cmdline.execute('scrapy crawl DouBan250'.split())

12.DouBan250.py具体代码

import scrapy
from douban250.items import Douban250Item


class DouBan250(scrapy.Spider):
    name ='DouBan250'
    allowed_domains=[]
    start_urls=['https://movie.douban.com/top250']

    def parse(self, response):
        title_list = response.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()').extract()
        human_list = response.xpath(
            '//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[1]/text()[1]').extract()
        score_list = response.xpath(
            '//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/div/span[2]/text()').extract()
        info_list = response.xpath(
            '//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[2]/p[2]/span/text()').extract()

        for title, human, score, info in zip(title_list, human_list, score_list, info_list):
            item = Douban250Item()
            item["title"] = title.strip()
            item["human"] = human.strip().replace('\xa0', '').replace('\xee', '').replace('\xf6', ''),
            item["score"] = score
            item['info'] = info
            yield item
        nextpage = response.xpath('//*[@id="content"]/div/div[1]/div[2]/span[3]/a/@href').extract()
        if nextpage:
            yield scrapy.http.Request("https://movie.douban.com/top250" + nextpage[0], callback=self.parse)

13.运行结果