Python模拟登录asp网站 python模拟登录爬取数据

模拟登陆

模拟登陆流程：

• 对点击登陆按钮对应的请求进行发送(post请求)
• 处理请求参数：

• 用户名
• 密码
• 验证码
• 其他的防伪参数

---

1. 模拟古诗文网登陆

url = https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx

不急，我们先来登陆一下获取网页的请求的参数（自行注册先哦）：

点击登陆成功后，我们看下源代码：

我们看到，请求传递了 from email pwd code 登参数。我们来写下请求代码：

logging_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'

data = {
    '__VIEWSTATE': 'TYrcSZVBcsrK06o1w3zD9LM9zKm2tkckwnArGUc/bevM7LJgxzZZBzrDm7OFiUftVmdPWjlgAPQck3od+jCovr/m48jr816FNS/X/AG1QxQrJZh5VMFiw8k4Q6s=',
    '__VIEWSTATEGENERATOR': 'C93BE1AE',
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': 'xxx.com',
    'pwd': 'xxx',
    'code': 'UDSS',  # 验证码
    'denglu': '登录'
}

我们知道，验证码是动态变化的，所以我们定义个变量，改下这句代码:

'code': code_text,  # 验证码动态变化

这样，我们就简单的写了模拟登陆的开始代码.

---

2. 验证码识别

这里，我们利用之前学习的验证码识别课程代码进行识别:

上节课网址:验证码识别

import requests
from lxml import etree
from hashlib import md5

# 识别过程的类（打码平台的API。不用管，直接复制）
class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password = password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files,
                          headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()

# 我们定义一个函数，用来识别  
def tranformImgCode(imgPath, imgType):
    chaojiying = Chaojiying_Client(id, pwd, 软件ID)
    im = open(imgPath, 'rb').read()
    print(chaojiying.PostPic(im, imgType))
    return chaojiying.PostPic(im, imgType)['pic_str']

上面代码是识别的过程，直接复制，参数改为自己的id pwd 软件ID。

如何识别古诗文网登陆的验证码呢？

(1) 我们先要获取验证码图片

先来分析下登录页：

我们看到了验证码图片所在的标签，直接右键复制xpath，写进代码里

# 登录页的网址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'

page_text = requests.get(url=url, headers=headers).text

# 解析验证码图片的地址.
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn' + tree.xpath('//*[@id="imgCode"]/@src')[0]  # 这里我们可以利用浏览器工具复制xpath

# 将验证码图片保存到本地
img_data = requests.get(url=img_src, headers=headers).content
with open('./code.jpg', 'wb') as f:
    f.write(img_data)

(2) 识别验证码

code_text = tranformImgCode('./code.jpg', 1902)
print(code_text)

(3) 验证码可以识别了，现在我们就来登陆试试：

# 对点击登陆按钮发起请求:获取了登录成功后对应的页面源码数据
page_text_login = requests.post(url=logging_url, data=data, headers=headers).text

# 保存网页
with open('./gushiwen.html', 'w', encoding='utf-8') as f:
    f.write(page_text_login)

额，我们发现，代码运行后并没有登陆成功，这是什么原因呢？

---

3. 携带cookie登陆

前面课程我们学习过了cookie，可能猜到这个网站设置了cookie反爬！那我们带上cookie来试试看

Cookie:课程

分析：

模拟登陆失败两种情况：

• cookie
• 验证码

验证码我们刚才获取过了，所以不可能是验证码问题。我们考虑下cookie:

session = requests.Session()

### 中间代码省略

# 对点击登陆按钮发起请求:获取了登录成功后对应的页面源码数据
page_text_login = session.post(url=logging_url, data=data, headers=headers).text
with open('./gushiwen.html', 'w', encoding='utf-8') as f:
    f.write(page_text_login)

现在我们发现，用session后，登陆成功了

---

4. 完整代码如下:

import requests
from lxml import etree
from hashlib import md5

### 验证码识别平台 代码省略

headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36'
}

# 定义一个session对象
session = requests.Session()

url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
page_text = session.get(url=url, headers=headers).text

# 解析验证码图片的地址.
tree = etree.HTML(page_text)
img_src = 'https://so.gushiwen.cn' + tree.xpath('//*[@id="imgCode"]/@src')[0]  # 这里我们可以利用浏览器工具复制

# 将验证码图片保存到本地
img_data = session.get(url=img_src, headers=headers).content
with open('./code.jpg', 'wb') as f:
    f.write(img_data)

# 识别验证码
code_text = tranformImgCode('./code.jpg', 1902)
print(code_text)

logging_url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data = {
    '__VIEWSTATE': 'TYrcSZVBcsrK06o1w3zD9LM9zKm2tkckwnArGUc/bevM7LJgxzZZBzrDm7OFiUftVmdPWjlgAPQck3od+jCovr/m48jr816FNS/X/AG1QxQrJZh5VMFiw8k4Q6s=',
    '__VIEWSTATEGENERATOR': 'C93BE1AE',
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': '[e-mail]',
    'pwd': 'xxx',
    'code': code_text,  # 动态变化
    'denglu': '登录'
}

# 对点击登陆按钮发起请求:获取了登录成功后对应的页面源码数据
page_text_login = session.post(url=logging_url, data=data, headers=headers).text
with open('./gushiwen.html', 'w', encoding='utf-8') as f:
    f.write(page_text_login)

---

5.扩展知识

在请求参数中如果看到了一组乱序的请求参数，最好去验证这组请求参数是否为动态变化的。

例如上述代码的：

'__VIEWSTATE': 'TYrcSZVBcsrK06o1w3zD9LM9zKm2tkckwnArGUc/bevM7LJgxzZZBzrDm7OFiUftVmdPWjlgAPQck3od+jCovr/m48jr816FNS/X/AG1QxQrJZh5VMFiw8k4Q6s=',

'__VIEWSTATEGENERATOR': 'C93BE1AE',

虽然这次登陆成功了，但并不确定它们是否就是登陆的必要参数。所以，遇到此类参数，最好验证。

如何验证呢？

• 方式1：常规来讲 一般动态变化的请求参数会被因此在前台页面中，那么我们要从前台源码去查找
• 方式2：如果前台页面没有的话，我们就可以基于抓包工具进行全局搜索。（后续详解，JS逆向分析哦亲）