精通Python网络爬虫这是一本实战性的网络爬虫秘笈,不仅讲解了如何编写爬虫,而且还讲解了流行的网络爬虫的使用。

全书分为4个部分:第壹部分对网络爬虫做了概要性的介绍,主要介绍了网络爬虫的常识和所涉及的技术概览;第二部分是本书的重点之一,详细讲解了网络爬虫的核心技术,包括网络爬虫的实现原理与实现技术、Urllib库和URLError库的异常处理、正则表达式与Cookie的使用、Fiddler的使用、爬虫的浏览器伪装技术、爬虫的定向抓取技术等;第三部分讲解了流行的爬虫框架Scrapy的使用、架构和高级应用,是目前关于Scrapy详细的讲解;第四部分是3个实战案例,讲解了博客爬虫、图片爬虫和模拟登陆爬虫的编写方法。

本书从技术、工具与实战3个维度讲解了Python网络爬虫:

技术维度:详细讲解了Python网络爬虫实现的核心技术,包括网络爬虫的工作原理、如何用urllib库编写网络爬虫、爬虫的异常处理、正则表达式、爬虫中Cookie的使用、爬虫的浏览器伪装技术、定向爬取技术、反爬虫技术,以及如何自己动手编写网络爬虫;

工具维度:以流行的Python网络爬虫框架Scrapy为对象,详细讲解了Scrapy的功能使用、高级技巧、架构设计、实现原理,以及如何通过Scrapy来更便捷、高效地编写网络爬虫;

实战维度:以实战为导向,是本书的主旨,除了完全通过手动编程实现网络爬虫和通过Scrapy框架实现网络爬虫的实战案例以外,本书还有博客爬取、图片爬取、模拟登录等多个综合性的网络爬虫实践案例。

作者在Python领域有非常深厚的积累,不仅精通Python网络爬虫,在Python机器学习、Python数据分析与挖掘、Python Web开发等多个领域都有丰富的实战经验。

目录

第一篇 理论基础篇

第1章 什么是网络爬虫 3

第2章 网络爬虫技能总览 9

第二篇 核心技术篇第3章 网络爬虫实现原理与实现技术 15

第4章 Urllib库与URLError异常处理 29

第5章 正则表达式与Cookie的使用 52

第6章 手写Python爬虫 73

第7章 学会使用Fiddler 99

第8章 爬虫的浏览器伪装技术 114

第9章 爬虫的定向爬取技术 122

第三篇 框架实现篇第10章 了解Python爬虫框架 133

第11章 爬虫利器——Scrapy安装与配置 141

第12章 开启Scrapy爬虫项目之旅 162

第13章 Scrapy核心架构 214

第14章 Scrapy中文输出与存储 220

第15章 编写自动爬取网页的爬虫 231

第16章 CrawlSpider 243

第17章 Scrapy高级应用 250

第四篇 项目实战篇

第18章 博客类爬虫项目 263

第19章 图片类爬虫项目 276

第20章 模拟登录爬虫项目 283