分享知识 传递快乐

 

在通过浏览器用爬虫爬取页面时会涉及一些登陆后才能操作的一些请求,而这些请求在浏览器上又不好获取,比如:用select下拉框做成的可以模糊查询的查询条件等;此时用浏览器获取数据会有一些不方便,如果提取请求地址单独在后台发请求,却返回未登陆或打开登陆页面等。针对这一问题详细记录一下。

在做单独请求时加入登陆后的 cookie 即可实现免登陆操作。

代码:

# 获取 cookie 实现登录后操作
cookies = driver.get_cookies()
cookies_dict = {}
for cookie in cookies:
cookies_dict[cookie['name']] = cookie['value']
#
url = ""
response = requests.post(url, cookies=cookies_dict)
log.info("请求地址: %s,请求状态:%d" % (url, response.status_code))

# 返回 JSON
json = response.json()

# 遍历json
for data in json.get("data"):
print(data.get("name"))

 

 

 

 

 

 

 


—————————
如有不足请留言指正
相互学习,共同进步