本文 Github/javamap 已收录,有Java程序员进阶技术知识地图以及我的系列文章,欢迎大家Star。

 

场景

有些网页需要你登录之后才可以访问,你需要提供账户和密码。

只要在发送http请求时,带上含有正常登陆的cookie就可以了。

 

 

首先我们要先了解cookie的工作原理。

Cookie是由服务器端生成,发送给User-Agent(一般是浏览器),浏览器会将Cookie的key/value保存到某个目录下的文本文件内,下次请求同一网站时就发送该Cookie给服务器(前提是浏览器设置为启用cookie)。

 

Cookie名称和值可以由服务器端开发自己定义,对于JSP而言也可以直接写入jsessionid,这样服务器可以知道该用户是否合法用户以及是否需要重新登录等。

 

 

之后我们要获取到用户正常登录的cookie.

python提供了cookieJar的库,只要把cookieJar的实例作为参数传到urllib2的一个opener里面。

然后访问一次登录的页面,cookie就已经保存下来了。

之后通过这个实例访问所有的页面都带有正常登陆的cookie了。

这里以人人网为例子:


Python代码




python 打开网页等待10秒关闭 python打开网页并登录_python 打开网页等待10秒关闭


 

完整代码,可直接复制到编辑器使用

    1. #encoding=utf-8
    2. import urllib2  
    3. import urllib  
    4. import cookielib  
    5. def renrenBrower(url,user,password):  
    6. #登陆页面,可以通过抓包工具分析获得,如fiddler,wireshark
    7. "http://www.renren.com/PLogin.do"
    8.     try:  
    9. #获得一个cookieJar实例  
    10.         cj = cookielib.CookieJar()  
    11. #cookieJar作为参数,获得一个opener的实例
    12.         opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))  
    13. #伪装成一个正常的浏览器,避免有些web服务器拒绝访问。
    14. 'User-agent','Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)')]  
    15. #生成Post数据,含有登陆用户名密码。
    16. "email":user,"password":password})  
    17. #以post的方法访问登陆页面,访问之后cookieJar会自定保存cookie
    18.         opener.open(login_page,data)  
    19. #以带cookie的方式访问页面
    20.         op=opener.open(url)  
    21. #读取页面源码
    22.         data= op.read()  
    23.         return data  
    24.     except Exception,e:  
    25.         print str(e)  
    26. #访问某用户的个人主页,其实这已经实现了人人网的签到功能。
    27. print renrenBrower("http://www.renren.com/home","用户名","密码")

     

    -- END --

    加油技术人!

    简介: 博主从华中科技大学硕士毕业,是一个对技术有追求,对生活有激情的程序员。几年间浪迹于多个一线互联网大厂,具有多年开发实战经验。

    文章持续更新,在 Github/javamap 中可以看到我归档的系列文章,有面试经验和技术干货,欢迎Star。