Puppeteer 可以模拟cookie cookie模拟登录

cookie模拟登录

1.适用网站几场景

　　抓取需要登录才能访问的页面

2.cookie和session机制

# http协议为无连接协议
cookie: 存放在客户端浏览器
session: 存放在Web服务器

人人网登录案例

方法一.登录网站手动抓取Cookie

1.先登录成功1次,获取到携带登录信息的Cookie
    登录成功-个人主页-F12抓包-刷新个人主页-找到主页的包(profile)
2.携带着cookie发请求
    Cookie
    User-Agent

import requests

class RenRenLogin(object):
    def __init__(self):
        # url为需要登录才能正常访问的地址
        self.url = 'http://www.renren.com/967469305/profile'
        # headers中的cookie为登录成功后抓取到的cookie
        self.headers = {
            # 此处注意cookie，要自己抓取
            "Cookie": "xxx",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
        }

    # 获取个人主页响应
    def get_html(self):
        html = requests.get(url=self.url,headers=self.headers,verify=False).text
        print(html)
        self.parse_html(html)

    # 可获取并解析整个人人网内需要登录才能访问的地址
    def parse_html(self,html):
        pass

if __name__ == '__main__':
    spider = RenRenLogin()
    spider.get_html()

代码实现

 

 方法二.requests模块处理Cookie

原理思路及实现

# 1. 思路
requests模块提供了session类,来实现客户端和服务端的会话保持

# 2. 原理
1、实例化session对象
   session = requests.session()
2、让session对象发送get或者post请求
   res = session.post(url=url,data=data,headers=headers)
   res = session.get(url=url,headers=headers)

# 3. 思路梳理
浏览器原理: 访问需要登录的页面会带着之前登录过的cookie
程序原理: 同样带着之前登录的cookie去访问 - 由session对象完成
1、实例化session对象
2、登录网站: session对象发送请求,登录对应网站,把cookie保存在session对象中
3、访问页面: session对象请求需要登录才能访问的页面,session能够自动携带之前的这个cookie,进行请求

 

具体步骤

1、寻找Form表单提交地址 - 寻找登录时POST的地址
   查看网页源码,查看form表单,找action对应的地址: http://www.renren.com/

2、发送用户名和密码信息到POST的地址
   * 用户名和密码信息以什么方式发送？ -- 字典
     键 ：<input>标签中name的值(email,password)
     值 ：真实的用户名和密码
     post_data = {'email':'','password':''}
session = requests.session()
session.post(url=url,data=data)

 

程序实现

整体思路
1、先POST: 把用户名和密码信息POST到某个地址中
2、再GET:  正常请求去获取页面信息

import requests

class RenrenLogin(object):
  def __init__(self):
    # 定义常用变量
    self.post_url = 'http://www.renren.com/'
    self.get_url = 'http://www.renren.com/967469305/profile'
    self.post_data = {
      'email' : 'xxx',
      'password' : 'xxx'
    }
    self.headers = {
      'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',
      'Referer' : 'http://www.renren.com/'
    }

    # 实例化session会话保持对象
    self.session = requests.session()

  # 先post 再get
  def post_get_data(self):
    # 先POST,把用户名和密码信息POST到一个地址
    self.session.post(url=self.post_url,data=self.post_data,headers=self.headers)

    # 再get个人主页
    html = self.session.get(url=self.get_url,headers=self.headers).text
    print(html)

if __name__ == '__main__':
    spider = RenrenLogin()
    spider.post_get_data()

代码实现

 

方法三

原理

1、把抓取到的cookie处理为字典
cookies_dict = {}
cookies = 'xxx'
for kv in cookise.split('; ')
    cookies_dict[kv.split('=')[0]]=kv.split('=')[1]
2、使用requests.get()中的参数:cookies

 

import requests

class RenRenLogin(object):
    def __init__(self):
        # url为需要登录才能正常访问的地址
        self.url = 'http://www.renren.com/967469305/profile'
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36",
        }

    # 将字符串cookie转为字典格式
    def cookie_to_dict(self,cookie_str):
        cookie_dic = {}
        for i in cookie_str.split('; '):
            cookie_dic[i.split('=')[0]] = i.split('=')[1]
        return cookie_dic

    # 获取个人主页响应
    def get_html(self):
        cookie_str = 'xxx'
        cookie_dict = self.cookie_to_dict(cookie_str)
        html = requests.get(url=self.url,headers=self.headers,verify=False,cookies=cookie_dict).text
        print(html)
        self.parse_html(html)

    # 可获取并解析整个人人网内需要登录才能访问的地址
    def parse_html(self,html):
        pass

if __name__ == '__main__':
    spider = RenRenLogin()
    spider.get_html()

代码实现