猪哥最早接触Python语言就是从爬虫开始的,因为当时公司需要开发一个这样的功能:解析用户收到的购票短信,然后分析短信提取有效信息,最后建立闹钟提醒用户。举个例子:小明买了两张晚上12点的电影票打算和女朋友一起去看电影。在收到购票短信后,我们会使用nlp分词分类,然后再匹配之前爬取到的近期所有上映电影名称,最后提取出电影播放时间、电影名称、影院名称和地点等重要信息,自动设置一个提前的闹钟,这样就避免小明同学因为睡过头而误了好事。
一、爬虫过时了吗
之前在群里看见有人说:现在很多网站都有了反爬虫技术,所以爬虫没什么好学的了,等这类唱衰爬虫的话。但是在猪哥看来,爬虫是Python最重要的一个应用之一,为什么这么说?
- 世界上没有一个网站,能做到完美地反爬虫
- 大数据时代爬虫是获取数据的一个重要途径
- 数据分析、机器学习等也许都会用到爬虫来获取数据样本
二、学习路线
所以说爬虫是作为Python程序员必备的一项技能,那本期猪哥就带大家来一起从零开始学习爬虫这项技能。猪哥希望通过一两个月时间能为大家系统的讲解爬虫,让大家有个全面的认知和学习。
以下是我整理的学习路径,后面的文章会根据这个学习路径来写。
基本的思路就是:爬虫是什么?怎么爬?爬到怎么提取有效信息?如何保存有效信息?有没有封装好的框架?
三、反馈
大家对上面的学习曲线有任何建议或意见都可以直接在下方留言,希望我们共同制定一个比较正确完整的路线,毕竟一个人的思想肯定是不够完善与正确。
鼓励大家去发现我的错误、提出自己想法,互相帮助,共同进步!