使用python写一个爬虫脚本

搜索岗位名称就能获取所有相关岗位信息

公众号回复 Boss直聘 获取源代码

先看效果:

python 爬虫 一键获取Boss直聘的岗位_字符串

教程:

先打开网站,搜索任意岗位

然后打开开发者模式

全局搜索下面的岗位信息

就可以找到包含岗位信息的文件

python 爬虫 一键获取Boss直聘的岗位_搜索_02


点击负载,query就是你搜索的信息

page是页数

pagesize是一页显示多少条数据

这些是查询字符串参数

我们只要在url里去改变参数即可

python 爬虫 一键获取Boss直聘的岗位_字符串_03

python 爬虫 一键获取Boss直聘的岗位_搜索_04

python 爬虫 一键获取Boss直聘的岗位_搜索_05

把请求标头也全部复制写到headers里

请求url:
https://www.zhipin.com/wapi/zpgeek/search/joblist.json?scene=1&query=%E7%88%AC%E8%99%AB&city=101010100&experience=°ree=&industry=&scale=&stage=&position=&jobType=&salary=&multiBusinessDistrict=&multiSubway=&page=1&pageSize=30
请求方法:
get

然后开始写代码:

访问,这里做一个参数传递

传递要查询的岗位信息参数query

python 爬虫 一键获取Boss直聘的岗位_公众号_06

拿到源码后

一步步去提取信息

python 爬虫 一键获取Boss直聘的岗位_搜索_07

可以看这里比较清晰

python 爬虫 一键获取Boss直聘的岗位_公众号_08

提取完之后,再进行保存

python 爬虫 一键获取Boss直聘的岗位_字符串_09

看效果

python 爬虫 一键获取Boss直聘的岗位_字符串

没问题,岗位信息全部拿下


公众号回复 Boss直聘 获取源代码

代码仅供学习参考

感谢观看!