爬虫——豆瓣电影top250
无论是动态网页爬虫和静态网页爬虫，实现的思路基 本上都是获取页面 html、页面解析、数据保存或输出。虽然获取页面 html 以及数据保存都 已经封装为通用函数，但依然编写繁琐。使用爬虫框架可以很好的解决这些问题，让我们在 编写爬虫的过程中专注于页面解析，大大简化编写爬虫的工作量，并能提高爬虫运行的效率。
所谓的爬虫框架，是一个半成品的爬虫，已经实现了工作队列、下载器、保存处理数据 的逻辑以及日志、异常处理、反反爬虫等通用功能。对于使用者来说，更多的工作是通过更 改配置调整需要开启的通用功能，让我们更专注于分析页面，编写网站的爬取规则。
Scrapy 爬虫框架是 Python 中最著名、最受欢迎、社区最活跃的爬虫框架。是人们为了 爬取网站数据、提取结构性数据而编写，可以应用在包括数据挖掘、信息处理或存储历史数 据等一系列的程序中。
1、命令行安装
在命令行下安装 Scrapy 比较简单，只需要输入如下命令即可
pip install scrapy
由于 pip 安装会自动安装 scrapy 爬虫框架依赖的各种包，安装速度较慢，出错概率较 大，建议增加-i 参数，使用清华镜像安装
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
Scrapy 快速入门
1、创建爬虫项目
打开 pycharm,在底部状态栏中点击“Terminal”，输入“scrapy startproject doubanSpider”，其中 baiduSpier 为 Scrapy 项目名称。
2.创建爬虫文件
爬虫项目和爬虫的关系为 1 对多的关系。一个爬虫项目可以由多个爬虫共同组成。如创 建一个新闻类的爬虫项目，可能会爬取百度新闻、腾讯新闻等多个网站的新闻。就可以创建 多个爬虫文件。
上图的提示中已经指引了此步骤的操作方法。首先使用“cd doubanSpider” 命令进入 目录 doubanSpider，此目录为“创建爬虫项目”时通过模板自动生成的。然后使用命令“scrapy genspider douban douban.com” 生成爬虫文件。其中参数“douban”为爬虫名称,需要注意 的是爬虫文件的名称不能和爬虫项目 doubanSpider 重复。参数“douban.com”为域名。
在 doubanSpider/doubanSpider/spiders 目录下找到 douban.py 文件。
def parse(self, response):
for row in response.xpath("//div[@class='item']"):
item = Doubanspider2Item()
url=row.xpath("div[2]/div/a/@href").get()
# 电影名
item["movie"] = row.xpath("div[2]/div[1]/a/span[1]/text()").extract()[0]
# 评价人数
item["number1"]=row.xpath("div[2]/div[2]/div/span[4]/text()").extract()[0].split('人评价')[0].strip()
# 导演
item["director"] = row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[0].split(':')[1].split('主演')[0].strip()
# 主演
try:
actor = row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[0].split(':')[2].split('/')[0].strip()
except Exception as e:
actor = 'null'
item["actor"]=actor
# 年份
item["date1"] = re.search(r'\d{4}',row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[1]).group(0)
# 产地
item["area1"]= row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[1].split('/')[1].strip()
# 类型
item["type1"] = row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[1].split('/')[2].strip()
# 评分
item["score"]= row.xpath( "div[@class='info']/div[@class='bd']/div[@class='star']/span[@class='rating_num']/text()").extract()[0]
yield item使用 Scrapy 框架的爬虫程序使用面向对象的方式进行封装。继承自 scrapy.Spider 类。 name 属性定义的为爬虫的名称，是我们使用“scrapy genspider baidu baidu.com”命 令时定义的，在同一个项目中可以定义多个爬虫，但必须保证爬虫名称唯一。
属性 allowed_domains 定义过滤爬取的域名，不在范围内约定的域名将不会进行爬取。类型 为列表，表示可以有多个域名。
属性 start_urls 定义爬虫启动时的默认爬取的地址，在通常情况下，爬虫默认从此地址开始爬取。
parse 方法是解析网页数据的核心方法。parse 方法以 response 作为参数，内容是爬取到的 页面 html 内容。细心的读者会发现，使用 Scrapy 框架将会省略使用 requests 或 urllib 库获取 页面内容的步骤
3.定义爬取数据项
在编写爬虫前，我们需要先定义爬取的数据项，只是数据项的命名，不涉及具体的数据类 型。百度首页导航链接爬虫比较简单，需要爬取的数据只有导航标签名称以及 url 地址。定义爬 取数据项是为后续步骤输出做准备。 在doubanSpider/doubanSpider/spiders 文件夹下找到 items.py 文件。代码如下
import scrapy
class Doubanspider2Item(scrapy.Item):
movie = scrapy.Field() # 电影名
number1 = scrapy.Field()
director = scrapy.Field() #导演
actor = scrapy.Field() #主演
score = scrapy.Field() #评分
type1 = scrapy.Field() #类型
area1 = scrapy.Field() #地区
date1 = scrapy.Field() # 上映日期4.定义爬虫解析
在编写解析 parse 方法前，需要优先考虑选择器的使用。Scrapy 爬虫框架是在 Lxml 基础上 构建了一套提取数据的机制，通过特定的 XPath 或 CSS 选择器来选择 HTML 页面中的某个部分。
Scrpay 选择器在速度和解析准确性上和 Lxml 非常相似。 前面章节已经讲解过 XPath 表达式，读者已有深入的了解，同时 XPath 提供了比 CSS 选择器 更强大的功能，所以推荐使用 XPath 来进行页面解析。实际上 Scrapy 的 CSS 选择器最终在运行 时也是转换为 XPath 的语法。
Scrapy 爬虫框架提供了选择器的快捷方式,response.xpath()和 response.css()，让用户直 接使用选择器。
5.运行爬虫
运行爬虫程序，需要使用命令“scrapy crawl 爬虫名”。在“Terminal”下执行命令 “Scrapy crawl douban”前，必须进入爬虫项目所在的目录，否则无法正常运行。当前项目 名为 doubanSpider，所以首先使用“cd doubanSpider”进入爬虫项目目录
爬虫运行后会打印输出非常多的日志信息，是因为缺省情况下日志等级为 info。可在 配置文件“doubanSpider/doubanSpider/settings.py”文件中进行调整。
ROBOTSTXT_OBEY = False #关闭 robots 协议，否则很多页面都无法爬取 LOG_LEVEL=“WARNING” #日志为警告以上才显示
调整后程序重新运行，发现没有任何提示，是因为 parse 函数中没有任何输出。增加-o
参数，将爬取的结果输出为文件。命令为“scrapy crawl douban -o douban.csv”。运行后 在 doubanSpider 目录下查看 douban.csv 文件。
完整代码
1.douban.py
# -*- coding: utf-8 -*-
import scrapy
import re
from doubanSpider2.items import Doubanspider2Item
class DoubanSpider2(scrapy.Spider):
name = 'douban'
allowed_domains = ['movie.douban.com','doubanio.com']
start_urls = ['https://movie.douban.com/top250?start=' + str(i) for i in range(0, 250, 25)]
def parse(self, response):
for row in response.xpath("//div[@class='item']"):
item = Doubanspider2Item()
url=row.xpath("div[2]/div/a/@href").get()
# 电影名
item["movie"] = row.xpath("div[2]/div[1]/a/span[1]/text()").extract()[0]
# 评价人数
item["number1"]=row.xpath("div[2]/div[2]/div/span[4]/text()").extract()[0].split('人评价')[0].strip()
# 导演
item["director"] = row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[0].split(':')[1].split('主演')[0].strip()
# 主演
try:
actor = row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[0].split(':')[2].split('/')[0].strip()
except Exception as e:
actor = 'null'
item["actor"]=actor
# 年份
item["date1"] = re.search(r'\d{4}',row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[1]).group(0)
# 产地
item["area1"]= row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[1].split('/')[1].strip()
# 类型
item["type1"] = row.xpath("div[@class='info']/div[@class='bd']/p/text()").extract()[1].split('/')[2].strip()
# 评分
item["score"]= row.xpath( "div[@class='info']/div[@class='bd']/div[@class='star']/span[@class='rating_num']/text()").extract()[0]
yield item2.items.py
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html
import scrapy
class Doubanspider2Item(scrapy.Item):
movie = scrapy.Field() # 电影名
number1 = scrapy.Field()
director = scrapy.Field() #导演
actor = scrapy.Field() #主演
score = scrapy.Field() #评分
type1 = scrapy.Field() #类型
area1 = scrapy.Field() #地区
date1 = scrapy.Field() # 上映日期3.settings.py
BOT_NAME = 'doubanSpider2'
SPIDER_MODULES = ['doubanSpider2.spiders']
NEWSPIDER_MODULE = 'doubanSpider2.spiders'
ROBOTSTXT_OBEY = False
LOG_LEVEL="WARNING" #日志为警告以上才显示
# Configure maximum concurrent requests performed by Scrapy (default: 16)
