案例：批量爬取页面数据

首先我们创建一个python文件, tiebaSpider.py，我们要完成的是，输入一个百度贴吧的地址，比如

百度贴吧LOL吧第一页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0

这个是lol吧的第一页的url地址，如果打开第二页，你会发现他的url如下：

第二页： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50

第三页： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100

  • 发现规律了吧，贴吧中每个页面不同之处，就是url最后的pn的值，其余的都是一样的，我们可以抓住这个规律。

简单写一个小爬虫程序，来爬取百度LOL吧的所有网页。

  • 我们已经之前写出一个爬取一个网页的代码。现在，我们可以将它封装成一个小函数loadPage，供我们使用。
def loadPage(url):
'''
    通过URL请求爬取到html静态页面源代码
    url：需要爬取的url地址
'''
req = urllib2.Request(url)
response = urllib2.urlopen(req)
html = response.read()
return html



  • 接下来，我们写一个百度贴吧爬虫接口，我们需要传递3个参数给这个接口， 一个是我们要爬取的url地址，以及起始页码和终止页码，表示要爬取页码的范围。
def tiebaSpider(url, beginPage, endPage):
'''
    百度贴吧爬虫核心程序：
    url: 要爬取的url地址
    beginPage: 爬虫贴吧的起始页数
    endPage: 爬虫贴吧的终止页数
'''
    user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;" # IE9.0 的 User-Agent
    headers = {"User-Agent":user_agent}
    for i in range(beginPage, endPage+1):
        pn = 50 * (i - 1)
        html = loadPage(url+str(pn))



  • 最后如果我们希望将爬取到了每页的信息存储在本地磁盘上，我们可以简单写一个存储文件的接口。
def writeFile(file_name, text):
'''
    将字符串内容写到文件中:
    file_name: 文件路径
    text: 要写进的字符串
'''
    print "正在存储文件" + file_name
    f = open(file_name, 'w+')
    f.write(text)
    f.close()



  • ok，接下来就是写一个main函数吧，然后提示用户输入即将爬取的百度贴吧url地址。 （ 注意 ：百度贴吧最后页码” pn= “后的数字，这些数字为我们传入的页码参数，所以我们再提供的时候不能包括数字）
if __name__ == '__main__':
    tiebaurl = str(raw_input('请输入贴吧的地址, 去掉pn=后面的数字:'))
    beginPage = int(raw_input('请输入开始的页数'))
    endPage = int(raw_input('请输入结束的页数'))
    tiebaSpider(tiebaurl, beginPage, endPage)



综上, 全部代码完成。

好了，最后我们测试一下：

运行后，输入lol吧的url地址 http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn= （ 注意=号后面不要加数字，因为我们要自动添加 ）

Power@PowerMac ~$ python tiebaSpider.py
请输入贴吧的地址, 去掉pn=后面的数字: http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=
请输入开始的页数5
请输入结束的页数10

正在下载第5个网页
正在存储文件5.html
正在下载第6个网页
正在存储文件6.html
正在下载第7个网页
正在存储文件7.html
正在下载第8个网页
正在存储文件8.html
正在下载第9个网页
正在存储文件9.html
正在下载第10个网页
正在存储文件10.html

总结

  • 其实很多网站都是这样的，当前网址下会有几个html页面，分别对应网址后的网页序号。
  • 这样一个简单的爬虫程序就可以批量获取网站页面源码，然后我们就可以从中筛选自己想要的数据信息了。