前言：
本次项目是使用scrapy框架，爬取豆瓣电影TOP250的相关信息。其中涉及到代理IP，随机UA代理，最后将得到的数据保存到mongoDB中。本次爬取的内容实则不难。主要是熟悉scrapy相关命令以及理解框架各部分的作用。
1、本次目标
爬取豆瓣电影TOP250的信息，将得到的数据保存到mongoDB中。
2、准备工作
需要安装好scrapy以及mongoDB，安装步骤这里不做赘述。（这里最好是先了解scrapy框架各个部分的基本作用和基础知识，这样方便后面的内容的理解。scrapy文档链接：https://scrapy-chs.readthedocs.io/zh_CN/latest/）
3、创建scrapy项目和爬虫
首先需要创建一个scrapy项目，命令如下：
scrapy startproject douban （douban为你的项目名称）
创建好之后会有系统提示如下：
You can start your first spider with:
cd douban
scrapy genspider example example.com
提示的意思是让你cd进入到刚刚创建好的douban项目下面，使用下面的命令创建你的爬虫，例如：
scrapy genspider DoubanSpider movie.douban.com/top250
这样，在spiders目录下（如下图）就创建出了一个名为DoubanSpider的爬虫了。
打开爬虫文件，里面默认已经写好了一些代码。这里简单的简单的介绍一下。（详细请参考https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/spiders.html）
name 是你创建爬虫的名称，相当于一个标识符，这个名称是唯一的且也是必须的。
allowed_domains 是允许爬虫爬取的域名列表（可选）
start_urls 是你的爬虫起始访问的URL
1 # -*- coding: utf-8 -*-
2 import scrapy
3
4
5 class DoubanspiderSpider(scrapy.Spider):
6 name = 'DoubanSpider'
7 allowed_domains = ['movie.douban.com/top250']
8 start_urls = ['http://movie.douban.com/top250/']
9
10 def parse(self, response):
11 pass
我们所要写的爬虫逻辑就是要在这一部分中来编写的，在开始动手写之前，还需要先在items文件下定义数据结构。
4、数据结构
如下图可以看到电影的相关信息，例如：电影名称，演员，导演，排名，评分等等。
需要做的是，把这些信息先在items定义好。代码如下：
1 # -*- coding: utf-8 -*-
2
3 # Define here the models for your scraped items
4 #
5 # See documentation in:
6 # https://doc.scrapy.org/en/latest/topics/items.html
7
8 import scrapy
9
10
11 class DoubanItem(scrapy.Item):
12 # define the fields for your item here like:
13 # name = scrapy.Field()
14 # 排名
15 rank = scrapy.Field()
16 # 标题
17 title = scrapy.Field()
18 # 链接
19 link = scrapy.Field()
20 # 导演&主演
21 director_actors = scrapy.Field()
22 # 时间
23 time = scrapy.Field()
24 # 类别
25 category = scrapy.Field()
26 # 评分
27 star = scrapy.Field()
28 # 评论数
29 comment = scrapy.Field()
30 # 引言
31 quote = scrapy.Field()
定义好这些之后，待会编写爬虫逻辑的时候，对于爬取到的相应数据只需要放进相应的变量里即可。
5、编写spider
下面要做的就是把需要的电影信息解析出来，这里使用xpath来完成。先来分析网站，如下图。
可以发现，每一个电影信息都在class为“grid_view”的ol节点下的li节点里。展开li节点，如下图
我们需要的电影名称就包含在class为“hd”的div/a的span节点下，这是运用xpath选择器很容易就能得到电影名称。其他的信息获取也同理，由于这次重点在sracpy框架的使用，所以获取信息这部分比较简单的内容就不在赘述，直接上代码：
1 # -*- coding: utf-8 -*-
2 import scrapy
3
4 from douban.items import DoubanItem
5
6
7 class MoviespiderSpider(scrapy.Spider):
8 name = 'movieSpider'
9 allowed_domains = ['movie.douban.com']
10 start_urls = ['http://movie.douban.com/top250']
11
12 def parse(self, response):
13 items = response.xpath('//ol[@class="grid_view"]//li')
14 item = DoubanItem()
15 for each in items:
16 # 排名
17 item['rank'] = each.xpath('.//div[@class="pic"]/em//text()').extract_first()
18 # 标题
19 item['title'] = each.xpath('.//div[@class="hd"]/a/span[@class="title"][1]//text()').extract_first()
20 # 链接
21 item['link'] = each.xpath('.//div[@class="info"]/div/a/@href').extract_first()
22 # 导演&主演
23 item['director_actors'] = each.xpath('.//div[@class="bd"]/p[1]/text()[1]').extract_first().strip().replace('\xa0', '')
24 # 时间和类别的集合
25 time_category = each.xpath('.//div[@class="bd"]/p[1]/text()[2]').extract_first()
26 # 时间
27 item['time'] = time_category.split('/')[0].strip()
28 # 类别
29 item['category'] = time_category.split('/')[-1].strip()
30 # 评分
31 item['star'] = each.xpath('.//div[@class="star"]/span[@class="rating_num"]/text()').extract_first()
32 # 评论数
33 item['comment'] = each.xpath('.//div[@class="star"]/span[last()]/text()').extract_first()[:-3]
34 # 引言
35 item['quote'] = each.xpath('.//p[@class="quote"]/span/text()').extract_first()
36 yield item
以上代码实现的就是从网页中提取出所需要的信息，其中第4行和14行代码是把我们刚刚定义好的信息导入进来，并且将item实例化，最后将item返回。
写到这里其实就可以得到这个页面所有电影信息了。但是这样还不够，还需要实现访问剩下页面的电影，那么就需要在写一段代码来实现访问剩下的其他页面，将得到页面的response在传给parse函数进行解析即可，代码实现如下：
1 for i in range(1, 10):
2 page = i * 25
3 start = '?' + 'start=' + str(page)
4 next_url = response.urljoin(start)
5 yield scrapy.Request(url=next_url, callback=self.parse)
下图是第二页的URL，易得出start和页数的关系，再通过urljoin构造出新的next_url，即下一页的URL，最后返回Request，其中url为下一页的URL，callback为回调函数，这里只需要再次回调parse函数进行页面解析即可。
这样一个简单爬虫就写好了。但是到这里还不行，因为我们还未修改请求的UA代理，网站接收到请求知道这是一个爬虫，会拒绝访问，下面需要添加一个随机UA。
6、RandomUA
添加UA代理最简单的一种方式是在settings文件里面，在DEFAULT_REQUEST_HEADERS 这一项里，添加User-Agent即可。
1 DEFAULT_REQUEST_HEADERS = {
2 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
3 'Accept-Language': 'en',
4 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 '
5 'Safari/537.36 '
6 }
但是这不是我们想要的，这里需要构造一个UA代理列表，每一次发送请求都会提取出一个随机的UA值，达到每一次请求的UA都是随机的。那要怎么做呢？同样先是在settings文件中，先构造一个UA列表，代码如下：
1 User_Agent = [
2 'Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)',
3 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
4 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
5 "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
6 "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
7 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
8 "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
9 "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
10 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
11 "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
12 "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
13 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
14 "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
15 "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
16 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
17 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
18 ]
然后在middleware文件下，创建一个名为RandomUAMiddleware的类，导入刚刚在settings中创建好的UA的列表，导入random库，然后创建一个名为process_request的方法，编写好实现代码即可，代码实现如下：
1 # -*- coding: utf-8 -*-
2
3 # Define here the models for your spider middleware
4 #
5 # See documentation in:
6 # https://doc.scrapy.org/en/latest/topics/spider-middleware.html
7 import random
8
9 from douban.settings import User_Agent
10 from scrapy import signals
11 class RandomUAMiddleware(object):
12 def process_request(self,request,spider):
13 user_agent = random.choice(User_Agent)
14 request.headers['User-Agent'] = user_agent
接下来只需要返回settings文件中，打开下载中间键，添加RandomUAMiddleware即可，代码实现如下：
1 DOWNLOADER_MIDDLEWARES = {'douban.middlewares.RandomUAMiddleware': 100 }
这样就可以随机生成UA了。
7、PROXY
实现了生成随机UA之后，我们还希望每一次的请求使用不同的IP地址，这样做就可以防止被网站的管理员ban掉。怎么实现代理ip呢？其实方法和UA大同小异。
首先也是要在settings中构造一个代理IP列表（当然，下面这个代理列表现在可能已经不能用了），代码如下：
1 Proxy_list = ['http://47.95.9.128:8118',
2 'http://112.16.172.107:58337',
3 'http://103.205.26.84:41805',
4 'http://61.145.182.27:53281',
5 'http://117.191.11.71:80',
6 'http://47.92.98.68:3128',
7 'http://120.206.182.11:80',
8 'http://59.44.43.198:80',
9 'http://114.236.138.171:80']
接着也是在middleware文件下，导入该列表，创建代理的类和方法。代码实现如下：
1 # -*- coding: utf-8 -*-
2
3 # Define here the models for your spider middleware
4 #
5 # See documentation in:
6 # https://doc.scrapy.org/en/latest/topics/spider-middleware.html
7 import random
8
9 from scrapy import signals
10
11 from douban.settings import Proxy_list
12
13 class ProxyMiddleware(object):
14 def process_request(self, request, spider):
15 proxy = random.choice(Proxy_list)
16 request.meta['proxy'] = proxy
最后也同样需要在settings中打开下载中间键，添加写好的ProxyMiddleware即可，代码实现如下：
DOWNLOADER_MIDDLEWARES = {'douban.middlewares.ProxyMiddleware': 200}
这样随机代理IP的功能也实现了。
8、mongoDB
要将爬取的数据，保存在mongoDB，首先在items里面定义collection表名，代码如下：
# mongoDB表名
collection = 'movies'
然后在settings里面创建相关参数，代码如下：
MONGO_URI = 'localhost'
MONGO_DB = 'doubanmovies'
接下来需要在pipeline文件下创建一个MongopPipeline的类，定义好相关方法，代码实现如下：
1 import pymongo
2
3
4 class MongoPipeline(object):
5 def __init__(self, mongo_uri, mongo_db):
6 self.mongo_uri = mongo_uri
7 self.mongo_db = mongo_db
8
9 @classmethod
10 def from_crawler(cls, crawler):
11 return cls(
12 mongo_uri=crawler.settings.get('MONGO_URI'),
13 mongo_db=crawler.settings.get('MONGO_DB')
14 )
15
16 def open_spider(self, spider):
17 self.client = pymongo.MongoClient(self.mongo_uri)
18 self.db = self.client[self.mongo_db]
19
20 def process_item(self, item, spider):
21 self.db[item.collection].insert(dict(item))
22 return item
23
24 def close_spider(self, spider):
25 self.client.close()
最后在settings文件中，打开ITEM_PIPELINES，并添加写好的pipeline，代码如下：
ITEM_PIPELINES = { 'douban.pipelines.MongoPipeline': 100}
8、运行爬虫
运行爬虫的命令为 scrapy crawl movieSpider（movieSpider为你的爬虫名）
最后查看结果，如下：
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125>
{'category': '剧情',
'comment': '238142',
'director_actors': '导演: 巴瑞·莱文森 Barry Levinson主演: 达斯汀·霍夫曼 Dustin Hoffman ...',
'link': 'https://movie.douban.com/subject/1291870/',
'quote': '生活在自己的世界里，也可以让周围的人显得可笑和渺小。',
'rank': '145',
'star': '8.7',
'time': '1988',
'title': '雨人'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125>
{'category': '剧情 犯罪 悬疑',
'comment': '228752',
'director_actors': '导演: 忻钰坤 Yukun Xin主演: 霍卫民 Weimin Huo / 王笑天 Xiaotian Wang '
'...',
'link': 'https://movie.douban.com/subject/25917973/',
'quote': '荒诞讽刺，千奇百巧，抽丝剥茧，百转千回。',
'rank': '146',
'star': '8.7',
'time': '2014',
'title': '心迷宫'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125>
{'category': '剧情 历史 战争',
'comment': '143256',
'director_actors': '导演: 特瑞·乔治 Terry George主演: 唐·钱德尔 Don Cheadle / 苏菲·奥...',
'link': 'https://movie.douban.com/subject/1291822/',
'quote': '当这个世界闭上双眼，他却敞开了怀抱。',
'rank': '147',
'star': '8.9',
'time': '2004',
'title': '卢旺达饭店'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75>
{'category': '喜剧 剧情 爱情',
'comment': '118018',
'director_actors': '导演: 查理·卓别林 Charles Chaplin主演: 查理·卓别林 Charles Chaplin ...',
'link': 'https://movie.douban.com/subject/1294371/',
'quote': '大时代中的人生，小人物的悲喜。',
'rank': '97',
'star': '9.2',
'time': '1936',
'title': '摩登时代'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75>
{'category': '剧情 家庭 奇幻 冒险',
'comment': '303989',
'director_actors': '导演: 蒂姆·波顿 Tim Burton主演: 伊万·麦克格雷格 Ewan McGregor / 阿...',
'link': 'https://movie.douban.com/subject/1291545/',
'quote': '抱着梦想而活着的人是幸福的，怀抱梦想而死去的人是不朽的。',
'rank': '98',
'star': '8.7',
'time': '2003',
'title': '大鱼'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75>
{'category': '剧情 惊悚',
'comment': '411734',
'director_actors': '导演: 中岛哲也 Tetsuya Nakashima主演: 松隆子 Takako Matsu / 冈田将生 ...',
'link': 'https://movie.douban.com/subject/4268598/',
'quote': '没有一人完全善，也没有一人完全恶。',
'rank': '99',
'star': '8.7',
'time': '2010',
'title': '告白'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75>
{'category': '剧情 爱情 家庭',
'comment': '185700',
'director_actors': '导演: 杨德昌 Edward Yang主演: 吴念真 / 李凯莉 Kelly Lee / 金燕玲 Elai...',
'link': 'https://movie.douban.com/subject/1292434/',
'quote': '我们都曾经是一一。',
'rank': '100',
'star': '9.0',
'time': '2000',
'title': '一一'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=200>
{'category': '剧情 爱情',
'comment': '115940',
'director_actors': '导演: Luc Besson主演: 让-马克·巴尔 Jean-Marc Barr / 让·雷诺 Jean '
'Re...',
'link': 'https://movie.douban.com/subject/1300960/',
'quote': '在那片深蓝中，感受来自大海的忧伤寂寞与美丽自由。',
'rank': '224',
'star': '8.7',
'time': '1988',
'title': '碧海蓝天'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=200>
{'category': '科幻 悬疑 惊悚',
'comment': '224481',
'director_actors': '导演: 詹姆斯·沃德·布柯特 James Ward Byrkit主演: 艾米丽·芭尔多尼 Em...',
'link': 'https://movie.douban.com/subject/25807345/',
'quote': '小成本大魅力。',
'rank': '225',
'star': '8.4',
'time': '2013',
'title': '彗星来的那一夜'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125>
{'category': '剧情 爱情',
'comment': '365533',
'director_actors': '导演: 乔·怀特 Joe Wright主演: 凯拉·奈特莉 Keira Knightley / 马修·...',
'link': 'https://movie.douban.com/subject/1418200/',
'quote': '爱是摈弃傲慢与偏见之后的曙光。',
'rank': '148',
'star': '8.5',
'time': '2005',
'title': '傲慢与偏见'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125>
{'category': '剧情 喜剧 犯罪',
'comment': '183367',
'director_actors': '导演: 达米安·斯兹弗隆 Damián Szifron主演: 达里奥·葛兰帝内提 Darío...',
'link': 'https://movie.douban.com/subject/24750126/',
'quote': '始于荒诞，止于更荒诞。',
'rank': '149',
'star': '8.8',
'time': '2014',
'title': '荒蛮故事'}
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125>
{'category': '纪录片',
'comment': '108078',
'director_actors': '导演: 雅克·贝汉 Jacques Perrin / 雅克·克鲁奥德 Jacques Cluzaud主演:...',
'link': 'https://movie.douban.com/subject/3443389/',
'quote': '大海啊，不全是水。',
'rank': '150',
'star': '9.0',
'time': '2009',
'title': '海洋'}
以上仅为部分输出结果，让我们来查看一下mongoDB保存的数据，如下图：
这样就成功的使用scrapy框架爬取到了豆瓣电影TOP250的信息了。
结语：
感觉scrapy框架功能很强大，还需要好好熟练和掌握，另外感觉自己写文章的功力还是没啥子进步啊，emm...还说点什么呢...今天的菠萝和葡萄不错。
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
