python urllib3使用代码 python urllib2

使用urllib和urllib2抓取网页：

# -*- coding:UTF-8 -*-

import urllib2
import urllib

# 1、抓取网页
response = urllib2.urlopen("http://www.baidu.com/")
print response.read()

'''
分析：
    response = urllib2.urlopen("http://www.baidu.com/")

    调用urllib2的urlopen方法，传入一个url，这个网址的协议是http，也可以使用ftp,file,https等

    urlopen接受三个参数：
        urlopen(url, data, timeout)
        第一个url就是URL地址，
        第二个data是访问URL时要传送的数据，
        第三个timeout是设置超时时间。
        第二三个参数可以不传送，data默认为空，timeout默认为socket._GLOBAL_DEFAULT_TIMEOUT
        第一个参数必须传送。
    返回一个response对象，返回信息保存在这里面。

    print response.read()
        response对象有一个read()方法，可以获取网页内容
'''

# ----------------------------------------------------------------------------------------
# 2、构造request
request = urllib2.Request("http://www.baidu.com/")
response = urllib2.urlopen(request)
print response.read()

'''
分析：
    urlopen传入一个request请求，其实就是一个Request类的实例，构造时传入URL，data等内容。

    通过构造一个request，服务器响应请求得到应答，逻辑更加清晰
'''

# ----------------------------------------------------------------------------------------
# 3、POST和GET数据传送
# POST
values = {}
values["username"] = "kevinelstri"
values["password"] = "******"
data = urllib.urlencode(values)
url = ""
request = urllib2.Request(url, data)
response = urllib2.urlopen(request)
print response.read()

# GET
values = {}
values["username"] = "kevinelstri"
values["password"] = "******"
data = urllib.urlencode(values)
url = ""
geturl = url+'?'+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()

'''
分析：
    动态网页的抓取以及登录，不能直接进行获取，需要需要进行登陆。

    数据传送分为POST和GET

        GET方式是直接以链接形式进行访问，链接包含了所有的参数，当然如果包含了密码的话就是一种不安全的选择，
    不过可以直观的看到提交的内容。
        POST方式不会在网址上显示所有的参数，不过如果想直接查看提交的内容就不太方便了。
'''

# ----------------------------------------------------------------------------------------
# 4、高级用法：设置Headers
url = 'http://www.server.com/login'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {"username":"[e-mail]", "password":"341204baiduhi"}
headers = {'User_Agent': user_agent}
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
print response.read()

# ----------------------------------------------------------------------------------------
# 5、高级用法：proxy的设置
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http": "http://some-proxy.com:8080"})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

'''
分析：
    使用代理服务器进行访问，来防止ip访问次数过多造成访问禁止
'''
# ----------------------------------------------------------------------------------------
# 6、高级用法：Timeout设置
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
print response.read()

'''
分析：
    设置Timeout,设置等待多久超时，为解决网站响应慢造成的影响
'''
# ----------------------------------------------------------------------------------------
# 7、高级用法：使用http的put和delete方法
url = "http://www.baidu.com"
request = urllib2.Request(url)
request.get_method = lambda: 'PUT'  # or 'DELETE'
response = urllib2.urlopen(request)
print response.read()

'''
分析：
    http协议的六种请求：
        get,head,put,delete,post,options

    put:和post相似，都是向服务器发送数据
        一个重要区别就是：put通常指定了资源的存放位置，而post则没有，post的数据存放位置由服务器自己决定
    delete：删除某个资源，很少使用
'''
# ----------------------------------------------------------------------------------------
# 8、高级用法：使用debuglog,调试日志
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
response = urllib2.urlopen("http://www.baidu.com")

'''
分析：
    将收发包的内容打印到屏幕上，方便调试，打印的是调试日志
'''