一、import urllib2if __name__ == '__main__' : url = 'http://www.baidu.com' proxy = {'http':'124.235.181.175:80'}
一.import urllib2if __name__ == '__main__' : url = 'http://www.csdn.net' head ={} head['User-Agent'] = 'Mozilla/5.0
一、常见的User Agent1.AndroidMozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; G
1.URLErrorimporturllib2ifname=='main':url='http://www.567.com'req=urllib2.Request(url)try:response=urllib2.urlopen(req)#printresponsehtml=response.read().decode('utf-8')printhtmlexcepturllib2.
PyPI使用国内源通过几次ｐｉｐ的使用，对于默认的pip源的速度实在无法忍受，于是便搜集了一些国内的pip源，如下：阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.co
1、查找网页utf编码importurllibifname=='main':req=urllib.urlopen('自己想查看的网址'）html=req.read()dehtml=html.decode('utf-8')printdehtml2、自动获取网页编码安装chardetpython-mpipinstallchardetimporturllibimportchardetif
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
