

需求介绍
拉勾网是我们互联网常用的一个招聘网站。
我们只需要输入城市名,职位名,即会爬取拉勾网对应的城市的此职位的招聘信息,并创建一个文件夹存放职位信息报表。
报表仅供参考,可根据个人需求做参考,有参考总比没有要好一些嘛。
结果展示
输入城市名,职位名,开始爬取并生成报表:


爬取数据 csv 保存:


报表保存,从图中可以看到小编获得了很多职位招聘信息的报表:


报表展示,以广州,机器学习岗为例:









源码获取
https:///5zjk5/lagou_recruitment_infomation
爬虫代码
拉勾网是一个反爬做的不错的网站了,我们输入职位,可以发现它是通过 ajax 加载的,找到数据包如下:

我们去访问这个 url 会被禁止访问:

这是拉勾的反爬,我们找到请求头查看,其中有一个参数为 “Referer”,它对应的值是一个 url,我们每次去请求上面的 url 之前先请求一次这个 url,获得 cookie,再带上去请求即可:


提取数据,返回的是 json 格式的:

数据输出,写入 csv,并生成相应的报表:

















