通过数据,了解招聘现状,收获你的 offer_java通过数据,了解招聘现状,收获你的 offer_java_02



 需求介绍

拉勾网是我们互联网常用的一个招聘网站。

我们只需要输入城市名,职位名,即会爬取拉勾网对应的城市的此职位的招聘信息,并创建一个文件夹存放职位信息报表。

报表仅供参考,可根据个人需求做参考,有参考总比没有要好一些嘛。



 结果展示 

输入城市名,职位名,开始爬取并生成报表:

通过数据,了解招聘现状,收获你的 offer_java_03通过数据,了解招聘现状,收获你的 offer_java_04


爬取数据 csv 保存:

通过数据,了解招聘现状,收获你的 offer_java_05通过数据,了解招聘现状,收获你的 offer_java_06


报表保存,从图中可以看到小编获得了很多职位招聘信息的报表:

通过数据,了解招聘现状,收获你的 offer_java_07通过数据,了解招聘现状,收获你的 offer_java_08


报表展示,以广州,机器学习岗为例:

通过数据,了解招聘现状,收获你的 offer_java_09通过数据,了解招聘现状,收获你的 offer_java_10通过数据,了解招聘现状,收获你的 offer_java_11通过数据,了解招聘现状,收获你的 offer_java_12通过数据,了解招聘现状,收获你的 offer_java_13通过数据,了解招聘现状,收获你的 offer_java_14通过数据,了解招聘现状,收获你的 offer_java_15通过数据,了解招聘现状,收获你的 offer_java_16通过数据,了解招聘现状,收获你的 offer_java_17




 源码获取

https:///5zjk5/lagou_recruitment_infomation



爬虫代码 

拉勾网是一个反爬做的不错的网站了,我们输入职位,可以发现它是通过 ajax 加载的,找到数据包如下:

通过数据,了解招聘现状,收获你的 offer_java_18


我们去访问这个 url 会被禁止访问:

通过数据,了解招聘现状,收获你的 offer_java_19


这是拉勾的反爬,我们找到请求头查看,其中有一个参数为 “Referer”,它对应的值是一个 url,我们每次去请求上面的 url 之前先请求一次这个 url,获得 cookie,再带上去请求即可:

通过数据,了解招聘现状,收获你的 offer_java_20通过数据,了解招聘现状,收获你的 offer_java_21


提取数据,返回的是 json 格式的:

通过数据,了解招聘现状,收获你的 offer_java_22


数据输出,写入 csv,并生成相应的报表:

通过数据,了解招聘现状,收获你的 offer_java_23