本人现职系统运维，随着技术发展，越来越多的系统开始提倡自动化运维，而且运维职位也不是几年前只懂shell就可以了，前几年找工作任职要求还是熟练shell，会python有加分，现在已经是熟悉shell、python、perl、java等语言任意两种，要求有所提高，所以有些压力的我也一直再搞python，无奈看了很多基础的文档了，最后还是有些无从下手的感觉，所以借着51CTO博客改版，把学习记录一下，希望能通过写博客来真正搞懂python，本系列不是为了爬虫而爬虫，只是因为爬虫的正向反馈对初学者来说，比较容易接收，有耐心学习下去，只是想通过爬虫来了解和熟悉python编程。由于我也是刚开始学习，能力有限，有哪里写的不好，也欢迎大家指正与交流，下面开始正题吧。

操作系统 编辑器 Python版本
Win10 家庭中文版 Pycharm 2016.3 Python 3.6.1

1、学习爬虫需要哪些知识

1.1 python基础

书籍推荐：《python编程从入门到实践》 其它：简明python教程 博客： 廖雪峰python教程 静觅 崔庆才的个人博客（我也参考这个博客学习，博客中的内容也会引用这个博客的内容，这个博客写的很好，很详细，只不过是python2的，我用python3写的）

1.2 urllib

学习Python爬虫最基本的urllib模块，利用这个模块我们可以得到网页的内容，并对内容用正则表达式提取分析，得到我们想要的结果。

1.3 python正则表达式

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。

1.4 Python爬虫框架Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

大体的学习方向就是以上这几点，后续有增加再及时更新，共勉！