python强智教务系统获取cookie python教务管理系统

昨天学习了简单的爬虫入门，所以临时起意写了一个爬取成绩的爬虫，下面讲述写爬虫全过程，因为刚学爬虫，所以找到了一个老的登录页面，不需要输入验证码

总体思路：

1、利用账号和密码登录，记录下cookie信息

2、利用cookie信息去访问成绩页面

3、利用xpath获得想要的信息（这一点还没仔细学，粗略了解下，用的可能不够好）

一、获得登录时发送的url

1.1使用浏览器的开发工具

利用Chrome浏览器打开教务管理系统网页，使用F12，点击network，勾选Preserve log

1.2登录账号密码，利用开发工具找到登录时发送的url（其实可以从网页源代码中看到表单提交的url）

然后再headers的最下方from data里面可以看到发送的是一个名为encoded的数据，如下所示

这并不是常见的账号和密码类型，读取源代码发现内容如下

function submitForm1(){
try{
var xh = document.getElementById("userAccount").value;
var pwd = document.getElementById("userPassword").value;
if(xh==""){
alert("用户名不能为空！");
return false;
}
if(pwd==""){
alert("密码不能为空！");
return false;
}
var account = encodeInp(xh);
var passwd = encodeInp(pwd);
var encoded = account+"%%%"+passwd;
document.getElementById("encoded").value = encoded;
var jzmmid = document.getElementById("Form1").jzmmid;
return true;
}catch(e){
alert(e.Message);
return false;
}
}

发现encoded是通过账号和密码加密之后再拼接而成的，这里面的encodedInp()是conwork.js下的一个函数，内容如下：

eval（function(p,a,c,k,e,d){e=function(c){return(c35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k[c]||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k[c])p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c]);return p;}('b 9="o+/=";p q(a){b e="";b 8,5,7="";b f,g,c,1="";b i=0;m{8=a.h(i++);5=a.h(i++);7=a.h(i++);f=8>>2;g=((8&3)<<4)|(5>>4);c=((5&s)<<2)|(7>>6);1=7&t;k(j(5)){c=1=l}v k(j(7)){1=l}e=e+9.d(f)+9.d(g)+9.d(c)+9.d(1);8=5=7="";f=g=c=1=""}u(i

所以我们的账号和密码想要加密就需要自己用python重写这个函数或者直接利用js里面的函数，我选择的是直接利用js里面的函数，需要下载PyExecJS模块，然后导入execjs，账号和密码生成encoded如下：

#对账号密码进行编码
defmake_user_token(username, password):
with open('conwork.js') as f:
ctx=execjs.compile(f.read())
username_encode= ctx.call('encodeInp', username)
password_encode= ctx.call('encodeInp', password)
token= username_encode + '%%%' +password_encodereturn token

准备工作完成，下面开始进行登录从而构建cookie

二、登录

因为刚学爬虫，所以就用最基础的东西来写，利用http.cookiejar中CookieJar来获得cookie信息

#1.登录
defget_opener():#1.1创建一个cookiejar
cookierjar =CookieJar()#1.2使用cookierjar创建一个HTTPCookieProcess对象
handler =request.HTTPCookieProcessor(cookierjar)#1.3使用上一步创建的handler创建一个opener
opener =request.build_opener(handler)returnopener#1.4使用opener发送登录的请求(账号和密码),目的是得到cookie
deflogin(opener,encoded):
data={}
data['encoded'] =encoded
login_url= 'http://xxxjwc.its.xxu.edu.cn/jsxsd/xk/LoginToXk'req= request.Request(login_url,data=parse.urlencode(data).encode('utf-8'),headers =headers)
opener.open(req)

三、访问成绩页面

#2.访问成绩页面
defvisit_grade(opener):
grade_url= 'http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list'req= request.Request(grade_url,headers=headers)
resp=opener.open(req)return resp.read().decode('utf-8')

四、得到所需成绩信息

获得成绩页面之后，可以利用spilt或者xpath来获得所需要的内容，这里面我选择的是利用xpath来获得成绩信息

web_data =visit_grade(opener)
html=etree.HTML(web_data)
grade_data= html.xpath('.//*[@id="dataList"]')#注意这个路径根据自己所需要的路径设置即可

之后再将里面的信息逐个输出即可，具体情况根据自己所需来设定。这里面有个注意点的是，如果你爬取的是table里面的数据，

因为浏览器会对html文本进行一定的规范化，如果路径中存在tbody结果是为空的，去掉xpath中的tbody即可

五、总体效果

全部代码

from urllib importrequest,parsefrom http.cookiejar importCookieJarfrom lxml importetreeimportexecjs
headers={'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Mobile Safari/537.36'}#1.登录
defget_opener():#1.1创建一个cookiejar
cookierjar =CookieJar()#1.2使用cookierjar创建一个HTTPCookieProcess对象
handler =request.HTTPCookieProcessor(cookierjar)#1.3使用上一步创建的handler创建一个opener
opener =request.build_opener(handler)returnopener#1.4使用opener发送登录的请求(账号和密码),目的是得到cookie
deflogin(opener,encoded):
data={}
data['encoded'] =encoded
login_url= 'http://xxxjwc.its.xxu.edu.cn/jsxsd/xk/LoginToXk'req= request.Request(login_url,data=parse.urlencode(data).encode('utf-8'),headers =headers)
opener.open(req)#2.访问成绩页面
defvisit_grade(opener):
grade_url= 'http://xxxjwc.its.xxu.edu.cn/jsxsd/kscj/cjcx_list'req= request.Request(grade_url,headers=headers)
resp=opener.open(req)return resp.read().decode('utf-8')#对账号密码进行编码
defmake_user_token(username, password):
with open('conwork.js') as f:
ctx=execjs.compile(f.read())
username_encode= ctx.call('encodeInp', username)
password_encode= ctx.call('encodeInp', password)
token= username_encode + '%%%' +password_encodereturntokenif __name__ =='__main__':
username= 'xxxxxxxx'password= 'xxxxxxxxxxxxxxxxx'encoded=make_user_token(username, password)
opener=get_opener()
login(opener,encoded)
web_data=visit_grade(opener)
html=etree.HTML(web_data)
grade_data= html.xpath('.//*[@id="dataList"]')for i ingrade_data[0]:
n=0
s=""
for j ini:if n==3:
s+=j.text
s+="\t"
elif n==4:
s+=j.text
s+="\t"
elif n==5:for grade inj:
s+=grade.text
s+="\t"
elif n==6:
s+=j.text
s+="\t"n+=1
print(s)

一个最基本的爬虫就做好了，当然这个还很简单，随着后期学习的深入，可能会再写文章改进一下这个。