文章目录
- Python爬虫——Scrapy 简介和安装
- 1、Scrapy 简介
- 2、Scrapy 下载安装
Python爬虫——Scrapy 简介和安装
1、Scrapy 简介
Scrapy 简介
Scrapy 是一个基于 Twisted实现的专业的、高效的异步处理爬虫框架,Scrapy 框架用纯Python实现。
Twisted:一个采用 Python 实现的基于事件驱动的网络引擎框架,用 Twisted 来处理网络通讯可以加快我们的下载速度,不用自己去实现异步框架。
Scrapy 框架用途非常广泛,可以提取网站数据、网络监测以及自动化测试等,Scrapy 也可以根据自己需求所需要的数据进行定制。
Scrapy 框架使用 lxml(专业的 XML 处理包)、cssselect 高效地提取 HTML 页面的有效信息,同时它也提供了有效的线程管理。
Scrapy 框架使用起来也很方便,开发人员只需要定制开发几个模块就可以实现一个爬虫程序,用来抓取网页数据或图片。
Scrapy 架构和组件
Scrapy 架构图
Scrapy 组件:
- Engine,引擎,是整个框架的核心,负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等
- Item,项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该对象。
- Scheduler, 调度器,用来接受引擎发过来的Request请求并按照一定的方式加入队列中,并在引擎再次请求的时候提供给引擎。
- Downloader,下载器,用于下载Engine请求到的网页内容,并将其获取到的Responses交还给Engine(引擎),由Engine交给Spider来处理。
- Spiders,爬虫,其内定义了爬取的逻辑和网页的提取数据规则,它主要负责处理所有Responses并生成提取结果,并将新的URL提交给引擎,再次进入Scheduler(调度器)。
- Item Pipeline,项目管道,负责处理Spider中获取到的Item,并进行进行清洗、验证和存储数据。
- Downloader Middlewares,下载器中间件,自定义扩展下载功能的组件,位于引擎和下载器之间的钩子框架,主要是处理引擎与下载器之间的请求及响应。
- Spider Middlewares, 蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,可以自定扩展和操作引擎和Spider中间通信的功能组件。
2、Scrapy 下载安装
Scrapy 下载安装
1、Scrapy 安装位置:Python安装目录的Scripts文件夹下
2、安装命令:pip install Scrapy -i https://pypi.douban.com/simple,由于 Scrapy 需要许多依赖项,因此使用镜像源下载。
下载成功后可以在pycharm中查看scrapy版本信息
下载安装中可能遇到的问题及解决方法
问题1:mportError: No module named w3lib.http
- 解决:pip install w3lib
问题2:ImportError: No module named twisted
- 解决:pip install twisted
问题3:ImportError: No module named lxml.HTML
- 解决:pip install lxml
问题4:error: libxml/xmlversion.h: No such file or directory
- 解决:apt-get install libxml2-dev libxslt-dev
apt-get install Python-lxml
问题5:ImportError: No module named cssselect
- 解决:pip install cssselect
问题6:ImportError: No module named OpenSSL
- 解决:pip install pyOpenSSL
使用anaconda安装(简单)
注意:anaconda需要安装在空文件夹,使用anaconda下载完依赖后,pycharm中的python解释器的路径要修改为anaconda中python解释器的路径。