昨天学习了简单的爬虫入门,所以临时起意写了一个爬取成绩的爬虫,下面讲述写爬虫全过程,因为刚学爬虫,所以找到了一个老的登录页面,不需要输入验证码
此处隐去学校信息:http://xxxjwc.its.xxu.edu.cn/jsxsd/
成绩页面:http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list
总体思路:
1、利用账号和密码登录,记录下cookie信息
2、利用cookie信息去访问成绩页面
3、利用xpath获得想要的信息(这一点还没仔细学,粗略了解下,用的可能不够好)
一、获得登录时发送的url
1.1使用浏览器的开发工具
利用Chrome浏览器打开教务管理系统网页,使用F12,点击network,勾选Preserve log
1.2登录账号密码,利用开发工具找到登录时发送的url(其实可以从网页源代码中看到表单提交的url)
然后再headers的最下方from data里面可以看到发送的是一个名为encoded的数据,如下所示
这并不是常见的账号和密码类型,读取源代码发现内容如下
function submitForm1(){
try{
var xh = document.getElementById("userAccount").value;
var pwd = document.getElementById("userPassword").value;
if(xh==""){
alert("用户名不能为空!");
return false;
}
if(pwd==""){
alert("密码不能为空!");
return false;
}
var account = encodeInp(xh);
var passwd = encodeInp(pwd);
var encoded = account+"%%%"+passwd;
document.getElementById("encoded").value = encoded;
var jzmmid = document.getElementById("Form1").jzmmid;
return true;
}catch(e){
alert(e.Message);
return false;
}
}
发现encoded是通过账号和密码加密之后再拼接而成的,这里面的encodedInp()是conwork.js下的一个函数,内容如下:
eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('b 9="o+/=";p q(a){b e="";b 8,5,7="";b f,g,c,1="";b i=0;m{8=a.h(i++);5=a.h(i++);7=a.h(i++);f=8>>2;g=((8&3)<<4)|(5>>4);c=((5&s)<<2)|(7>>6);1=7&t;k(j(5)){c=1=l}v k(j(7)){1=l}e=e+9.d(f)+9.d(g)+9.d(c)+9.d(1);8=5=7="";f=g=c=1=""}u(i<a.n);r e}',32,32,'|enc4||||chr2||chr3|chr1|keyStr|input|var|enc3|charAt|output|enc1|enc2|charCodeAt||isNaN|if|64|do|length|ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789|function|encodeInp|return|15|63|while|else'.split('|'),0,{}))
所以我们的账号和密码想要加密就需要自己用python重写这个函数或者直接利用js里面的函数,我选择的是直接利用js里面的函数,需要下载PyExecJS模块,然后导入execjs,账号和密码生成encoded如下:
#对账号密码进行编码
def make_user_token(username, password):
with open('conwork.js') as f:
ctx = execjs.compile(f.read())
username_encode = ctx.call('encodeInp', username)
password_encode = ctx.call('encodeInp', password)
token = username_encode + '%%%' + password_encode
return token
准备工作完成,下面开始进行登录从而构建cookie
二、登录
因为刚学爬虫,所以就用最基础的东西来写,利用http.cookiejar中CookieJar来获得cookie信息
#1.登录
def get_opener():
#1.1创建一个cookiejar
cookierjar = CookieJar()
#1.2使用cookierjar创建一个HTTPCookieProcess对象
handler = request.HTTPCookieProcessor(cookierjar)
#1.3使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)
return opener
#1.4使用opener发送登录的请求(账号和密码),目的是得到cookie
def login(opener,encoded):
data={}
data['encoded'] = encoded
login_url = 'http://xxxjwc.its.xxu.edu.cn/jsxsd/xk/LoginToXk'
req = request.Request(login_url,data=parse.urlencode(data).encode('utf-8'),headers =headers)
opener.open(req)
三、访问成绩页面
#2.访问成绩页面
def visit_grade(opener):
grade_url = 'http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list'
req= request.Request(grade_url,headers=headers)
resp = opener.open(req)
return resp.read().decode('utf-8')
四、得到所需成绩信息
获得成绩页面之后,可以利用spilt或者xpath来获得所需要的内容,这里面我选择的是利用xpath来获得成绩信息
web_data = visit_grade(opener)
html = etree.HTML(web_data)
grade_data = html.xpath('.//*[@id="dataList"]')#注意这个路径根据自己所需要的路径设置即可
之后再将里面的信息逐个输出即可,具体情况根据自己所需来设定。这里面有个注意点的是,如果你爬取的是table里面的数据,
因为浏览器会对html文本进行一定的规范化,如果路径中存在tbody结果是为空的,去掉xpath中的tbody即可
五、总体效果
全部代码
from urllib import request,parse
from http.cookiejar import CookieJar
from lxml import etree
import execjs
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Mobile Safari/537.36'
}
#1.登录
def get_opener():
#1.1创建一个cookiejar
cookierjar = CookieJar()
#1.2使用cookierjar创建一个HTTPCookieProcess对象
handler = request.HTTPCookieProcessor(cookierjar)
#1.3使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)
return opener
#1.4使用opener发送登录的请求(账号和密码),目的是得到cookie
def login(opener,encoded):
data={}
data['encoded'] = encoded
login_url = 'http://xxxjwc.its.xxu.edu.cn/jsxsd/xk/LoginToXk'
req = request.Request(login_url,data=parse.urlencode(data).encode('utf-8'),headers =headers)
opener.open(req)
#2.访问成绩页面
def visit_grade(opener):
grade_url = 'http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list'
req= request.Request(grade_url,headers=headers)
resp = opener.open(req)
return resp.read().decode('utf-8')
#对账号密码进行编码
def make_user_token(username, password):
with open('conwork.js') as f:
ctx = execjs.compile(f.read())
username_encode = ctx.call('encodeInp', username)
password_encode = ctx.call('encodeInp', password)
token = username_encode + '%%%' + password_encode
return token
if __name__ =='__main__':
username= 'xxxxxxxx'
password= 'xxxxxxxxxxxxxxxxx'
encoded = make_user_token(username, password)
opener = get_opener()
login(opener,encoded)
web_data = visit_grade(opener)
html = etree.HTML(web_data)
grade_data = html.xpath('.//*[@id="dataList"]')
for i in grade_data[0]:
n=0
s=""
for j in i:
if n==3:
s+=j.text
s+="\t"
elif n==4:
s+=j.text
s+="\t"
elif n==5:
for grade in j:
s+=grade.text
s+="\t"
elif n==6:
s+=j.text
s+="\t"
n+=1
print(s)
一个最基本的爬虫就做好了,当然这个还很简单,随着后期学习的深入,可能会再写文章改进一下这个。