scrapy框架:Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy是一个为遍历爬行网站、分解获取数据而设计的应用程序框架,它可以应用在广泛领域:数据挖掘、信息处理和或者历史片(历史记录)打包等等,同时尽管Scrapy原本是设计用来屏幕抓取(更精确的说,是网络抓取)的目的,但它也可以用来访问API来提取数据。
scrapy架构流程
主要组件介绍:
a.爬虫(Spider):爬虫时主要干活的,用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。用户也可以从中提取出连接,让Scrapy继续抓取下一个页面。『爬取网站内容』
b.项目管道(Pipeline):负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体,验证实体的有效性,清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。『存储爬取的网站内容』
c.下载器中间件:位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。『将爬取的内容告诉下载器进行下载』
d.爬虫中间件:介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。
e.调度中间件:介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。
当时我是在Anaconda中创建一个虚拟环境spider
首先安装Anaconda这个包
使用 conda create -n your_env_name python=X.X(2.7、3.6等)命令创建python版本为X.X、名字为your_env_name的虚拟环境。your_env_name文件可以在Anaconda安装目录envs文件下找到。
source activate spider 进入虚拟环境
scrapy startproject mySpider 创建一个新mySpider工程
基本的框架建立好了
conda info -e #查看当前环境下所创建的虚拟环境
代码示例:(获取博客内容)
import scrapy
from scrapy.shell import inspect_response
from mySpider.items import csdnItem
from mySpider.settings import CsdnPage
class CsdnSpider(scrapy.Spider):
name = 'csdn'
allowed_domains = ['csdn.net']
start_urls = [
'',
# '',
]
def parse(self, response):
# 类似于字典的对象
boxs = response.xpath('//div[@class="article-item-box csdn-tracking-statistics"]')
for box in boxs:
# 打印仅为了测试;
# ************将item对象实例化在for循环里面, 否则每次会覆盖之前item的信息;*******
item = csdnItem()
item['title'] = box.xpath('./h4/a/text()')[1].extract().strip()
item['url'] = box.xpath('./h4/a/@href')[0].extract()
# print("1. *****************", item['title'])
yield scrapy.Request(item['url'], meta={'item': item}, callback=self.parse_article)
for page in range(2, 3):
url = "/article/list/%s" %(page)
yield scrapy.Request(url, callback=self.parse)
def parse_article(self, response):
item = response.request.meta['item']
# 打印仅仅为了测试:出现问题的部分.
# print("2.************************", item['title'])
# inspect_response(response, self)
content = response.xpath('//div[@id="article_content"]').extract()[0]
item['content'] = 'aaa'
yield item